Le château a été pillé par des reîtres en 1569, et l'armée du duc de Mayenne est passée par Chavagnac en 1588. Le château, ainsi qu'une grande partie de l'église voisine, ont été détruits avant la Révolution par un incendie.
La tour couronnée de mâchicoulis, haute de 25 mètres et large de près de 8 mètres[2], permet d'avoir par temps clair une vue, dit-on, sur sept départements. Il lui était possible de communiquer par signaux avec la tour d'Yssandon et le château de Noailles[3].
Le château a appartenu au XVe siècle à la famille de Roffignac de Chavagnac[4] aussi appelée Roffignac de Cousages car cette famille possédait cette seigneurie se trouvant sur la commune actuelle de Chasteaux, en Corrèze.
Jean de Roffignac, probablement de la branche des Roffignac d'Allasac, marié à Jeanne de Campniac ;
Guy ou Guyot de Roffignac, cité dans des actes de 1447 et 1498 ;
Guy de Roffignac, mentionné dans des actes de 1504 et 1532, marié avec Marguerite de Maumont avant 1505 ;
François de Chavagnac, né vers 1506, encore vivant en 1566, mentionné comme seigneur de Chavagnac en 1541, marié à Gabrielle de Lauzières, fille de Louis de Lauzières, seigneur de Thémines ;
Madeleine de Roffignac, mariée en 1573 avec Jean de Sénectère (aussi écrit Sennecterre ou Saint-Nectaire), de la banche de Fontenilles, neveu de François de Sénectère, évêque de Sarlat. Elle est citée comme dame de Chavagnac dans des actes de 1588 et 1601. Elle est veuve en 1601 et fait son testament le ;
Gabrielle de Sénectère (ou Saint-Nectaire) se marie avec Gilbert de Chazeron et hérite de Chavagnac ;
Gabriel de Chazeron marié à Marie-Gabrielle de La Guiche, fille de Jean-François de La Guiche, comte de Saint-Géran, maréchal de France, et Anne de Tournon, mort sans postérité. Il est signalé comme seigneur de Chavagnac dans son testament du ;
Anne de Chazeron mariée le avec François de Polignac (vers 1580/1585-1632), chevalier, seigneur baron de Chalencon, Auzon, Clavelier, etc., fils de Louis-Armand XVII, vicomte de Polignac et de Françoise de Montmorin Saint-Hérem[5], mentionné comme seigneur de Chavagnac et de Cousages dans des actes de 1629 et 1630, mais Anne de Chazeron est décédée à cette date ;
Balthazar de Polignac, né le , baron d'Auzon, mentionné comme seigneur de Chavagnac dans l'acte en 1629, meurt sans alliance en 1635.
Claude-Françoise de Polignac a reçu les seigneuries de Chavagnac et de Cousages par un acte reçu le et se marie le avec Henri Ier de La Rochefoucauld[6], faisant passer la seigneurie de Chavagnac dans la famille de La Rochefoucauld-Cousages jusqu'à la Révolution ;
François de La Rochefoucauld marié en 1656 avec Louise de Saint-Martial de Grugeac, mort en 1675, comte de Cousages et seigneur de Chavagnac, baron d'Arlet ;
Henri II de La Rochefoucauld (1659-1698), marié en 1676 avec Marie de Saint-Martial de Puydeval ;
Henri-François de La Rochefoucauld (†1735), marié en 1698 avec Marie-Henriette Plaisant de Bouchiat ;
Jean-Baptiste de La Rochefoucauld, né en 1700, marié en 1746 avec Marie-Gabrielle de Fuschenberg ;
Henri-François II de La Rochefoucauld, frère du précédent, né en 1716, enseigne de vaisseau en 1738, chef d'escadre en 1764, vice-amiral en 1782, marié en 1766 avec Louise-Françoise de Rochechouart, mort en 1784 ;
Alexandre Armand Louis Henri de La Rochefoucauld, né en 1767, capitaine de cavalerie, dernier seigneur de Chavagnac.
Louis de La Rochefoucauld, frère du précédent, marié à Madeleine Mansat, sans postérité ;
Anne de Roffignac, marié avec Jean de Jean de Dienne ;
Christophe de Roffignac, président au parlement de Bordeaux, cité dans certains actes comme président Chavagnac ;
Madeleine de Roffignac, mariée le avec Gabriel de Veilhan de Pénacorn.
Protection
Le château est inscrit au titre des monuments historiques le [1].