Brown studerade juridik och inledde sin karriär som advokat i Frankfort. Han flyttade senare till New Orleans och arbetade som distriktsåklagare där. Han blev invald i senaten i ett fyllnadsval1 december1812 och tillträdde som senator i februari 1813. Han lyckades inte bli omvald direkt men kom tillbaka till senaten två år senare. Han avgick från senaten 10 december 1823. Han var ordförande i senatens utrikesutskott i den 16:e kongressen. James Brown var USA:s minister i Frankrike 1823-1829.
^A New Nation Votes: American Electoral Returns, 1788-1825, American Astronomical Society och Tufts University, läs online och läs online, läst: 23 december 2020.[källa från Wikidata]