1817 begann Johann Ernst Graf Hoyos, die vierseitige Form zu errichten, das jedoch noch bis ins späte 19. Jahrhundert hinein architektonischen Veränderungen unterworfen wurde. Bis ins Jahr 1900 dauerte die Phase der bemerkenswerten Veränderungen an, zuletzt gestaltete Julius Deininger die Fassaden und das Mansarddach.[1]