Dieser Artikel oder nachfolgende Abschnitt ist nicht hinreichend mit Belegen (beispielsweise Einzelnachweisen) ausgestattet. Angaben ohne ausreichenden Beleg könnten demnächst entfernt werden. Bitte hilf Wikipedia, indem du die Angaben recherchierst und gute Belege einfügst.
Die Herrschaft Castres und spätere Grafschaft Castres war ein Resultat der Albigenserkriege. Die Stadt Castres war im Mittelalter vom Vizegrafen von Albi abhängig. Die Familie Trencavel gestand ihr eine Charta zu, mit der eine von Konsuln regierte Kommune gegründet wurde. Während der Albigenserkreuzzüge unterwarf sich die Stadt schnell Simon IV. de Montfort, der sie seinem Bruder Guy de Montfort zum Lehen gab.
1356 erhob König Johann II. Castres zur Grafschaft. 1519 wurde Castres von König Franz I. nach langen Erbstreitigkeiten mit der Domaine royal vereinigt.
1354–1364: Jean VI. († 1364), comte de Vendôme et de Castres
1364–1371: Bouchard VII. († 1371), comte de Vendôme et de Castres, Sohn Johanns VI.
1371–1372: Jeanne († 1372), comtesse de Vendôme et de Castres, Tochter Buchards VII., unter Vormundschaft ihrer Großmutter Jeanne de Ponthieu, der Witwe Jeans VI.
1438–1462: Bernard d’Armagnac († 1462), comte de Pardiac, de la Marche, de Castres, duc de Nemours, Ehemann Eleonores
1462–1476: Jacques d’Armagnac (* 1433; † 1477), comte de Pardiac et de La Marche, duc de Nemours
1476 wird Jacques d’Armagnac wegen Verrats verurteilt, sein Besitz wird von König Ludwig XI. eingezogen. Der König übergibt die Grafschaft einem seiner Beamten, Boffille de Juge.
1494–1519: Alain d’Albret, sire d’Albret (* 1440; † 1522), Sohn von Jean d’Albret, vicomte de Tartas, und Catherine de Rohan
Von 1502 bis 1519 streitet Alain d’Albret mit der Tochter Boffille de Juges um Castres. König Franz I. vereinigt die Grafschaft mit der Domaine royal, als er des Streits überdrüssig wird.