Drudmunt, figlio del conte franco Throand, decise di istituire un monastero dedicato alla Vergine Maria attorno al 775, facendone formalmente dono a Carlo Magno che a sua volta lo pose sotto la protezione dell'abbazia di Fulda. Il monastero venne posto successivamente sotto il baliaggio dei conti di Wertheim. Nel 1552, nel corso della Riforma protestante, il monastero del conte Michele III von Wertheim († 1555) venne abolito, ma già dal 1561 la chiesa venne restituita all'abbazia di Fulda come sua proprietà; tuttavia, la vita claustrale del monastero poteva ormai dirsi estinta e i monaci non tornarono ad officiarvi pur mantenendone il possesso. Il principe-vescovo Julius Echter decise di trasferire il monastero nel 1612 come feudo stabile per la diocesi di Würzburg e di rifondarvi un monastero con dodici monaci benedettini, i quali ad ogni modo vennero cacciati dai soldati svedesi, protestanti, durante la guerra dei trent'anni, nel 1631.
Sotto il prevosto Bonifatius von Hutten, fratello del principe-vescovo di Würzburg Christoph Franz von Hutten e zio del principe vescovo di Spira, Franz Christoph von Hutten zum Stolzenberg, il celebre architetto Balthasar Neumann ottenne l'incarico di costruire la nuova chiesa del monastero, lavori che vennero compiuti tra il 1728 ed il 1730. Fu solo nel 1759 che Ferdinand Zobel von Giebelstadt fondò nuovamente un monastero. Nel 1802 il monastero di Holzkirchen venne secolarizzato. I conti di Castell rimasero in possesso del monastero e della sua chiesa dal 1816 fino a quando la chiesa venne donata alla parrocchia cattolica locale nel 1909.
La proprietà, vuota dal 1995, dal 2003 ha preso il nome di Benediktushof ed è utilizzata come struttura per seminari e conferenze aconfessionali o comunque non religiose.
Wolfgang Theoderich von Uissigheim (1539–1544 e 1546–1549), dal 1550 principe-abate e rettore di Petersberg, Frauenberg e Johannesberg, nonché prevosto di Thulba
Kuno Riedesel von Bellersheim (1544–1546)
Johann Schenk von Schweinsberg (1549–1555)
Philipp Georg Schenk von Schweinsberg (1561–1568), dal 1567 anche prevosto di Michaelsberg, Neuenberg e Johannesberg
Johann Wolfgang Schott von Memmelsdorf (1568–1592)
Kaspar von Wildungen (1593–1601)
Reinhard Ludwig von Dallwig (1601–1613), dal 1606 anche prevosto di Johannesberg e Blankenau
Georg von Hatzfeld (1613–1618)
Bernhard Wilhelm von Schwalbach (1618–1624)
Eberhard Hermann Schutzbar gen. Milchling (1625–1630)
Gangolf Schrimpf (Hrsg.): Kloster Fulda in der Welt der Karolinger und Ottonen (Fuldaer Studien 7). Josef Knecht, Frankfurt am Main 1996. ISBN 3-7820-0707-7
