Hayne tjänstgjorde som officer i 1812 års krig. Han studerade sedan juridik och arbetade som advokat. Han tjänstgjorde i fem år som agent för USA:s flotta (naval agent) i Medelhavsområdet.
Senator Josiah J. Evans avled 1858 i ämbetet och efterträddes av Hayne. Han efterträddes senare samma år av James Chesnut.
Hayne avled 1867 och gravsattes på St. Michael's Churchyard i Charleston.