Figlio di Bernardo d'Armagnac e di Eleonora di Borbone-La Marche[8], già nel 1446 veniva citato col titolo di Conte di Castres[1], quando ai suoi genitori venne assegnato, in via provvisoria, il ducato di Nemours[9].
Giacomo servì sotto Carlo VII di Francia in Normandia tra il 1449 e il 1450, e successivamente in Guienna. Giacomo (Monseigneur le conte de Castres, fils du conte de la Marche), nell'agosto del 1449, secondo la Chronique de Charles VII, roi de France, fu tra coloro che accompagnarono il re di Francia, Carlo VII, in Normandia[10].
I suoi genitori, Bernardo e Eleonora, ottennero formalmente il ducato di Nemours ed il titolo di Paria di Francia, con lettera datata 3 aprile 1461, registrato al parlamento il 19 giugno 1462 e poi confermato ai loro nipoti il 2 agosto 1484[11]. Sua madre, nel 1461, gli aveva ceduto tutti i suoi diritti sulla contea di La Marche[1].
Suo padre, Bernardo morì il 4 maggio 1462[1]. Giacomo gli succedette in tutti i suoi titoli[12].
Successivamente però Giacomo non si sentì abbastanza considerato per le sue imprese nel Midi, e perciò nel 1465 si unì alla Lega del bene pubblico contro il Re[13].
Si riconciliò con lui una prima volta, ma poi intrigò nuovamente contro il monarca e, nel 1469, Giacomo, accusato di tradimento e collusione con gli Inglesi, rinunciò ai suoi privilegi di Paria di Francia[12]. Gli vennero confiscati tutti i suoi beni[12].
Dopo averlo perdonato già un paio di volte, il Re si spazientì con Giacomo, accusato nuovamente di tradimento del re e dello stato e collusione con gli Inglesi e col duca di Borgogna, Carlo il Temerario, lo assediò nel suo castello di Carlat (1475) lo catturò e, avendo, nel 1469, rinunciato al suo diritto di Paria, lo rinchiuse nel Castello di Pierre-Scize[12], presso Lione, da alcuni anni prigione di Stato. L'anno seguente fu trasferito alla Bastiglia[12].
Il duca venne trattato in modo particolarmente duro, e, nel 1477 fu giudicato dal parlamento e condannato a morte, il 4 agosto ed infine decapitato, in quello stesso giorno[12].
Giacomo, nel 1462, aveva sposato Luisa d'Angiò[12], figlia di Carlo, Conte del Maine e di Guisa e della sua seconda moglie, Isabella di Lussemburgo[12]; il contratto di matrimonio era stato fatto a Poitiers il 12 giugno di quello stesso anno[12].
Giacomo e sua moglie Luisa ebbero sei figli[15]:
Giacomo (1465 circa-1477), portato a Perpignano, dopo la morte del padre, morì di peste[12];
