Буксгайм належав до середини X століття капітулу Аугсбургського кафедрального собору, який у 1100 р. заснував тут дім для каноників присвячений Нашій Дорогій Пані. У 1402 р., після довгого періоду занепаду, тодішній пробст Гейнріх фон Еллербах у сподіванні врятувати Буксгайм передав його картезіанцям, діяльність яких виявилась дуже успішною, як для духовного, так і для матеріального піднесення монастиря. Але велике багатство монастиря викликало ворожі наміри сусіднього міста Меммінґен, яке в період Реформації у 1546 р. зайняло та конфіскувало його володіння. Однак пріор монастиря Дітріх Логер завдяки своїм дипломатичним навичкам зумів домогтись прихильності імператора Карла V, який надав приорату у 1548 р. статус reichsfrei (імперської вільності), який звільняв монастир від будь-якого іншого підпорядкування окрім, як імператору. Так чином Буксхайм був єдиним картезіанським монастирем, що отримав цей статус — Reichskartause. Монастир зазнав секуляризації у 1802 р., а його власність перейшла до графів Остейн, які дозволили громаді залишитись у монастирі. У 1809 р. пріорат став власністю графів Вальдботт фон Бассенхейм, що у 1812 р. зробили з нього замок. Будівлі монастиря перейшли до держави у 1916 р., а у 1926 р. вони були придбані салезіанцями.
Монастирські будівлі
Частина будівель абатства були відреставровані у стилі рококоДомінікусом Циммерманном: абатська церква, каплиця св. Анни та парафіяльна церква. Одним із шедеврів бароко є різьблені хори абатської церкви, що створені тірольським скульптором та різьбярем Іґнацом Вайблем між 1687 та 1691 рр.