Der Berg liegt größtenteils auf der Gemarkung von Elmstein, lediglich ein Teil der Nordwestflanke gehört zu Waldleiningen. Er ist Teil eines langgestreckten Höhenzuges. Nordöstlich erstreckt sich der Leiterberg, südöstlich der Mückenberg und westlich der 459,8 Meter hohe Eulenkopf. Südlich des Riesenbergs erstreckt sich der Elmsteiner Ortsteil Speyerbrunn.
An seinem Südosthang entspringt der Enkenbach und an seinem Osthang der Weltersbach.
Naturräumliche Zuordnung
Großregion 1. Ordnung: Schichtstufenland beiderseits des Oberrheingrabens
1737 ließ der Forstmeister Ludwig Anton von Hacke den über den Berg führenden sogenannten Riesenberger Weg zur Erleichterung des Holztransportes errichten.[1]
Am Südwesthang des südlichen Ausläufers des Riesenbergs befindet sich der Ritterstein 122. Bei ihm handelt es sich um eine Inschrift, die am sogenannten Pestfelsen am Waldfahrweg vom Stüterhof nach Speyerbrunn angebracht wurde.