Kvarnen är ursprungligen från 1850 och var då tredje kvarnen på den plats där dagens södra landfäste för Skanstullsbron. Den flyttades till sin nuvarande plats 1859. Kvarnrörelsen lades ner 1882. Vid 1900-talets början hotades kvarnen av rivning. År 1930 beslutade Stockholms stad att Skanskvarn skulle kulturskyddas, restaureras, bli restaurang och därmed återknytas till platsens traditioner. För ombyggnadsritningarna stod arkitekt Holger Blom.[1]
Åren 1994-95 diskuterades det om att flytta Skanskvarn 30 meter västerut för att få plats med den kommande Tvärbanan med Fredriksdalsbron. 1996 bestämde stadsbyggnadskontoret för att Tvärbanans sträckning skulle gå runt norr om Skanskvarn och därmed fick den anrika kvarnen stå kvar på sin plats.
Äldre kvarnar på samma plats
Den första kvarnen anlades på platsen i mitten av 1600-talet. Den andra byggdes 1756 och kallades Nedre Skanskvarn då det också från 1762 till 1828 fanns en kvarn längre söderut, vid dagens Söderstadion, som kallades Övre Skanskvarn.[2][3]