Randolphs far var borgmästare i Salem, ett ämbete som även farfadern hade innehaft. Randolph fick förnamnet "Jennings" efter presidentkandidaten William Jennings Bryan. Han utexaminerades 1924 från Salem College och arbetade sedan som journalist i West Virginia. Han arbetade 1926-1932 som prefekt för institutionen för retorik och journalistik (Department of Public Speaking and Journalism) vid Davis & Elkins College.
Randolph besegrade sittande kongressledamoten Frank L. Bowman i kongressvalet 1932. Han representerade West Virginias andra distrikt fram till 1947. Randolph kandiderade ytterligare en gång till omval i kongressvalet 1946 men besegrades av republikanenMelvin C. Snyder. Randolph förespråkade 1946 grundandet av ett fredsdepartement, en tanke som redan Benjamin Rush hade introducerat med tanke på USA:s allra första regering på 1700-talet. Fredsdepartementet har fortfarande inte grundats men kongressledamoten Dennis Kucinich har hållit tanken vid liv i sina politiska kampanjer. Överste Snyder som besegrade Randolph i kongressvalet 1946 hade deltagit i två världskrig.
Senator Matthew M. Neely avled 1958 i ämbetet. John D. Hoblitzell blev utnämnd till senaten fram till fyllnadsvalet senare samma år. Randolph besegrade Hoblitzell i fyllnadsvalet. Han omvaldes 1960, 1966, 1972 och 1978. Under Randolphs sista år i senaten grundades fredsinstitutet United States Institute of Peace, något som senatorn för West Virginia starkt hade arbetat för. Tjugosjätte tillägget till USA:s konstitution, som 1971 gav medborgarna mellan 18 och 21 år sin rösträtt, anses vara den största politiska segern i Randolphs karriär. Han hade redan 1942 mitt under andra världskriget första gången som 40-årig kongressledamot introducerat tanken att 18-åringar borde få rösta, eftersom de också deltar i krig.
Margaret Chase Smith avled 29 maj1995 97 år gammal och Randolph blev den äldsta före detta eller dåvarande senatorn fortfarande vid liv. Efter Randolphs död blev sittande senatorn Strom Thurmond äldst bland alla tidigare och dåvarande senatorer.
Randolphs grav finns på begravningsplatsenSeventh-Day Baptist Cemetery i Salem, West Virginia.