Il sito risulta abitato sin dall'epoca elisabettiana e nel 1771 l'architetto Cornish Henley vi realizzò la costruzione. Essa venne poi modificata nel XIX secolo con l'aggiunta di un portico. Nel 1862, la residenza venne acquistata dalla regina Vittoria quale residenza per il principe di Galles (il futuro Edoardo VII) e di sua moglie, Alessandra. Ma già nel 1865, soltanto due anni dopo, l'immobile divenne troppo limitato per le esigenze del principe ed egli decise di demolire la costruzione per edificarne un'altra più grande.
La nuova residenza, completamente rivestita in mattoni rossi, fu pronta nel 1870 e risultò un ibrido stilistico non dei più riusciti fra le costruzioni dell'epoca vittoriana. Anche se l'architettura non si rivelò delle più indovinate, la casa venne dotata delle più recenti innovazioni tecnologiche dell'epoca quali l'illuminazione a gas, l'acqua corrente, lo scarico del water e una forma primitiva di doccia. Una parte della casa venne distrutta da un incendio verificatosi durante i preparativi per i festeggiamenti del 50º compleanno del principe di Galles nel 1891, e successivamente ricostruita.
Sandringham House è stata la residenza privata di diverse generazioni di sovrani inglesi. Nonostante all'inizio non fosse molto entusiasta, la principessa Alessandra finì con l'amare poi questa residenza. Poiché re Giorgio VI morì nel 1952 a Sandringham, la regina Elisabetta II decise di passare gli anniversari della morte del padre nella quiete della Sandringham House. Divenne la residenza ufficiale della sovrana tutti gli anni nei mesi di gennaio e di febbraio. Dal 1977 essa è aperta al pubblico, essendo divenuta un museo, nel periodo in cui la regina non vi risiedeva.
La residenza è stata fra le più amate dalla regina che tutti gli anni era solita passarvi le festività di fine anno rimanendovi poi per buona parte dell'inverno. I terreni adiacenti alla residenza vengono usati per delle battute di caccia. A questo proposito Edoardo VII, che amava molto la caccia, decise di far spostare gli orologi di mezz'ora in avanti, rispetto al GMT, per poter dedicare più tempo al suo passatempo preferito. Questa tradizione del Sandringham Time venne mantenuta nella residenza dal 1901 al 1936 quando il nuovo re Edoardo VIII decise di porre fine a questa usanza.