C'est sur l'emplacement d'une tour-modèle no 3 type 1811, construite en 1812, que le fort fut érigé en 1884. Il était constitué d'une cour intérieure donnant sur 4 chambrées. Il fut progressivement transformé, jusqu'en 1914, par l'adjonction de batteries, projecteurs (avec leurs générateurs) et magasins d'armement afin d'augmenter ses capacités défensives.
En 1922 Le Petit Journal écrit : « La défense de Brest est assurée en tout et pour tout par les six canons de la batterie de Toulbrac [sic, Toulbroc'h], lesquels sont inutilisables car ils sont dépourvus des instruments de visée indispensables au réglage du tir »[2].
Pendant la Seconde Guerre mondiale à partir de , le responsable de la radio du fort surveille la Maison des câbles située à 500 m. Il envoie à toute heure du jour ou de la nuit des patrouilles pour vérifier qu'aucune émission n'est réalisée vers les alliés[3]. En 1942, l'organisation Todt y adjoindra 4 casemates, dotées de canons de 75. Fin août 1944, la batterie est atteinte par les bombardements alliés, puis le fort est conquis par un bataillon de rangers américains début septembre.
Le , en mer, le cuirassé britannique HMS Warspite et son escorte engagent le combat au large de Ploudalmézeau. Avec ses puissants canons de 381 mm il cible la batterie de Kéringar (57 coups), la batterie des Rospects (47 coups), la batterie de Toulbroc'h (32 coups), le fort Montbarey (26 coups) et le fort Keranroux (51 coups). Vers 17 heures, la batterie côtière de Kéringar, grâce à des postes annexes, arrive enfin à repérer le cuirassé et riposte. Rapidement encadré, The Old Lady est contrainte de s'éloigner. Au total, 213 coups furent tirés entre 15 h et 18 h. L'objectif le plus atteint est le fort de Kéranroux.
Le , le 5e bataillon de rangers américain arrive devant Toulbroc'h. Le , le reste du bataillon est affecté à la 29e division d'infanterie. De durs combats se déroulent à La nuit tombante. La garnison du fort de Toulbroc'h de 5 officiers et 237 hommes serait en partie italienne, commandée par capitaine Sovelli. Le , la compagnie F garde le flanc est, côté Minou. Les compagnies B et D attaquent sur Toulbroc'h. Dix Allemands sont capturés rapidement et indiquent un moral faible. Une contre-attaque allemande repousse les rangers.
Le , une première attaque de P 47 Lightning[Quoi ?] n'est pas très efficace. À 14 h 30, une seconde attaque de huit avions P 47 qui lâchent leurs bombes de 500 kg est plus efficace ; ensuite l'aviation mitraille le fort. Les rangers attaquent par le Dalbosc. Six minutes après le départ de l'aviation, 247 Allemands se rendent avec un air hagard. Voyant qu'ils ne se rendent qu'à soixante rangers, ils ne veulent plus se rendre ; mais c'est trop tard.