Une collégiale Sainte-Afre est converti entre 1006 et 1012 (selon la tradition du monastère 1012) sous l’évêque Bruno, frère de l’empereur Henri II, en un monastère bénédictin récemment occupé par des bénédictins de Tegernsee. Les chanoines se rendent à la cathédrale. De 1643 à 1802, il s'agit d'une abbaye impériale avec un siège et un vote au Reichstag. Le monastère est dissout en 1802 au cours de la sécularisation. La ville d’Augsbourg et l’État de Bavière sont les propriétaires communs. En 1805, un hôpital militaire et une caserne pour cavalerie sous le nom d'Ulrichskaserne sont installés dans le complexe du monastère. Une nouvelle communauté bénédictine est fondée en 1835 sous le nom d'abbaye Saint-Étienne.
La caserne reste en place jusqu'à la Seconde Guerre mondiale, puis en , lors d'un raid aérien, de nombreuses parties de la ville sont détruites. Après que les décombres sont enlevés seulement entre 1968 et 1971, l’hôtel de conférence Saint-Ulrich du diocèse d’Augsbourg ouvre ses portes en 1975.