Die ursprünglich wehrhafte Anlage liegt in der Ortsmitte neben der Pfarrkirche Nemmersdorf, die ebenfalls Spuren einer Wehrkirche aufweist. Die Schlossanlage, anfangs als Veste bezeichnet, war von einem Torturm, zwei weiteren Türmen und Mauern umgeben, die mittlerweile überwiegend abgetragen sind. Die Anlage brannte 1507 ab und wurde von Heinz von Laineck wiederaufgebaut, 1567 bis 1569 erfolgte ein Umbau durch Gilg von Laineck. Darauf deutet auch ein Wappenstein von 1570 mit den Wappen der Laineck und der Rüssenbach hin.
Das Schloss liegt auf einer nach Westen gerichteten Bergnase und ist vom Kirchhügel durch einen Halsgraben getrennt. Beim Schlossgebäude handelt es sich heute um einen zweigeschossigen Bau mit zwei senkrecht zueinander stehenden Flügeln mit Walm- und Halbwalmdach.
Die Anlage geht zurück auf einen Sitz der Walpoten, denen auch der Edelfreie Friedrich von Nemmersdorf zugerechnet wird, der 1143 erstmals urkundlich erwähnt wurde. Wenigstens in Teilen ging Nemmersdorf 1167 an das Hochstift Bamberg über. Der Besitz kam 1341 an die Burggrafen von Nürnberg und gehörte später den Markgrafen von Kulmbach-Bayreuth. Diese gaben es 1362 bis 1684 als Lehen an die Schütz von Laineck. Die von Tanner sind kurzzeitig ab 1704 nachgewiesen. Die von Reitzenstein saßen von 1762 bis 1864 auf dem Schloss. Die Diplomaten Karl Heinrich von Gleichen (1733–1807) und Sigismund von Reitzenstein (1766–1847) erblickten dort das Licht der Welt. Das Schloss befindet sich in Privatbesitz und kann nicht besichtigt werden.
