Das Herrenhaus wurde 1726 für Christoph Elias Oelhafen von Schöllenbach erbaut. Eismannsberg war zu dieser Zeit als Hofmark eine Exklave des wittelsbachischen Fürstentums Pfalz-Sulzbach. Es diente als Wohn- und Verwaltungssitz sowie Gerichtsgebäude, später als Gaststätte und Postdienststelle. Es blieb bis zum Verkauf 1859 im Familienbesitz der Nürnberger Patrizierfamilie Oelhafen. Seit 1901 befindet sich das Schloss im Besitz der Familie Wild.[1]