Hardeman County wurde 1858 aus Teilen des Fannin County gebildet. Benannt wurde es nach Bailey Hardeman und Thomas Jones Hardeman, zwei frühen texanischen Politikern.
Nach der Volkszählung im Jahr 2000 lebten im Hardeman County 4.724 Menschen. Davon wohnten 67 Personen in Sammelunterkünften, die anderen Einwohner lebten in 1.943 Haushalten und 1.319 Familien. Die Bevölkerungsdichte betrug 3 Einwohner pro Quadratkilometer. Ethnisch betrachtet setzte sich die Bevölkerung zusammen aus 85,4 Prozent Weißen, 4,8 Prozent Afroamerikanern, 0,8 Prozent amerikanischen Ureinwohnern, 0,3 Prozent Asiaten und 7,1 Prozent aus anderen ethnischen Gruppen; 1,6 Prozent stammten von zwei oder mehr ethnischen Gruppen ab. 14,5 Prozent der Einwohner waren spanischer oder lateinamerikanischer Abstammung.
Von den 1.943 Haushalten hatten 29,9 Prozent Kinder oder Jugendliche, die mit ihnen zusammen lebten. 54,7 Prozent waren verheiratete, zusammenlebende Paare, 10,4 Prozent waren allein erziehende Mütter und 32,1 Prozent waren keine Familien. 29,5 Prozent waren Singlehaushalte und in 18,0 Prozent lebten Menschen im Alter von 65 Jahren oder darüber. Die durchschnittliche Haushaltsgröße betrug 2,40 und die durchschnittliche Familiengröße betrug 2,97 Personen.
25,4 Prozent der Bevölkerung war unter 18 Jahre alt, 7,5 Prozent zwischen 18 und 24, 22,6 Prozent zwischen 25 und 44, 24,3 Prozent zwischen 45 und 64 und 20,2 Prozent waren 65 Jahre alt oder älter. Das Medianalter betrug 41 Jahre. Auf 100 weibliche Personen kamen 89,4 männliche Personen und auf 100 Frauen im Alter von 18 Jahren oder darüber kamen 85,2 Männer.
Das jährliche Durchschnittseinkommen eines Haushalts betrug 28.312 USD, das Durchschnittseinkommen einer Familie betrug 33.325 USD. Männer hatten ein Durchschnittseinkommen von 26.683 USD, Frauen 18.566 USD. Das Prokopfeinkommen betrug 16.824 USD. 14,6 Prozent der Familien, und 17,8 Prozent der Einwohner lebten unterhalb der Armutsgrenze.[7]