Das Baker County wurde am 12. Dezember 1825 als 61. County aus Teilen des Early County gebildet und benannt nach Colonel John Baker, einem der ersten Farmer und Soldat im amerikanischen Revolutionskrieg.
Laut der Volkszählung von 2010 verteilten sich die damaligen 3451 Einwohner auf 1372 bewohnte Haushalte, was einen Schnitt von 2,52 Personen pro Haushalt ergibt. Insgesamt bestehen 1652 Haushalte.
65,0 % der Haushalte waren Familienhaushalte (bestehend aus verheirateten Paaren mit oder ohne Nachkommen bzw. einem Elternteil mit Nachkomme) mit einer durchschnittlichen Größe von 3,14 Personen. In 30,0 % aller Haushalte lebten Kinder unter 18 Jahren sowie in 29,8 % aller Haushalte Personen mit mindestens 65 Jahren.
25,7 % der Bevölkerung waren jünger als 20 Jahre, 22,3 % waren 20 bis 39 Jahre alt, 29,7 % waren 40 bis 59 Jahre alt und 22,3 % waren mindestens 60 Jahre alt. Das mittlere Alter betrug 42 Jahre. 48,5 % der Bevölkerung waren männlich und 51,5 % weiblich.
48,5 % der Bevölkerung bezeichneten sich als Weiße, 46,7 % als Afroamerikaner, 0,3 % als Indianer und 0,7 % als Asian Americans. 2,6 % gaben die Angehörigkeit zu einer anderen Ethnie und 1,2 % zu mehreren Ethnien an. 4,2 % der Bevölkerung bestand aus Hispanics oder Latinos.
Das durchschnittliche Jahreseinkommen pro Haushalt lag bei 45.526 USD, dabei lebten 22,6 % der Bevölkerung unter der Armutsgrenze.[6]