Das Schloss wurde an der Stelle eines älteren Gebäudes (erstes Ortsschloss) im 15. Jahrhundert vom Freiherrn Johann Baptist Nepomuk Speth von Schülzburg erbaut. Es wurde 1776 erneuert und blieb bis August 2004 in Besitz der Freiherren von Speth zu Schülzburg. Das Schloss hat eine dreigeschossige Anlage mit Mansarddach. Das Schloss und die dazugehörigen Grundstücke sind seit August 2004 im Alleineigentum von Marietta Freifrau von und zu Massenbach.
Volker Grub; mit Beiträgen von Manfred Waßner: Reichsritter im Lautertal – die Freiherren Speth von Schülzburg: ein Streifzug durch die Familiengeschichte. verlag regionalkultur, Ubstadt-Weiher, Heidelberg u. Basel 2018, ISBN 978-3-95505-073-3. (zur Geschichte von Dorf und Schloss Granheim)
Granheim. In: Johann Daniel Georg von Memminger (Hrsg.): Beschreibung des Oberamts Ehingen (= Die Württembergischen Oberamtsbeschreibungen 1824–1886. Band3). Cotta’sche Verlagsbuchhandlung, 1826, S.131–133 (Volltext [Wikisource]).
Günter Schmitt: Granheim. In: Ders.: Burgenführer Schwäbische Alb. Band 2: Alb Mitte-Süd. Wandern und entdecken zwischen Ulm und Sigmaringen. Biberacher Verlagsdruckerei, Biberach an der Riß 1989, ISBN 3-924489-45-9, S. 127–132.
