Skansenberget är intimt förknippat med friluftsmuseet Skansen som hade sin början i ett område kring berget. På våren 1891 fick Artur Hazelius köpa en bit mark uppe på Skansenberget och redan på hösten samma år öppnades Skansen för allmänheten.[2]
Högsta byggnad på Skansenberget är tornet Bredablick. Nedanför bergets norra sida finns bland annat Skånska gruvan och villan Sirishov och nedanför bergets västra sluttning ligger Skansens gamla huvudingång, Hazeliusporten med Skansens bergbana upp till Skansenberget.