После уничтожения римскими папами Гогенштауфенов, замок был имперским владением Рудольфа Габсбурга, являлась постоянным яблоком раздора между ним и графом Вюртембергским.
С 1372 года Гогенштауфен находился в руках графов Вюртембергских. После изгнания герцога Ульриха в 1519 году, Георг Штауфер из Блосенштауфена успешно претендовал на замок, обосновывая свои претензии родством со старой династией Гогенштауфенов. В 1525 году, во время Крестьянской войны защищаемый небольшим отрядом замок был взят и разрушен. Камень стен и построек замка позже был использован в строительстве замка в Гёппингене.
В 2009 году были проведены дополнительные работы по реставрации. В настоящее время сохранившиеся реликвии замка хранятся в музее Staufer, расположенном на пересечении Pfarrgasse и Kaiserbergsteige в Гогенштауфен.
Почтовая открытка 1905 года выпуска, на которой изображена гора, крепость, король Гогенштауфен.