Als Industrieller war Elkins in der Folge auf vielen Geschäftsfeldern tätig: der Eisenbahn, dem Bankgewerbe oder dem Bergbau. Er wurde politisch tätig, als sein Vater, seit 1895 US-Senator, am 4. Januar 1911 starb und er fünf Tage später zu dessen Nachfolger im Kongress ernannt wurde. Seine Amtszeit dort endete bereits wieder am 31. Januar desselben Jahres, als der bei der Nachwahl siegreiche Clarence Wayland Watson sein Mandat übernahm.
Im Ersten Weltkrieg diente Elkins in der US Army und war von 1917 bis 1918 in Europa eingesetzt. Nach seiner Rückkehr bewarb er sich um einen Sitz im Senat und war erfolgreich, woraufhin er der Parlamentskammer vom 4. März 1919 bis zum 3. März 1925 angehörte. Während dieser Zeit war er Vorsitzender des Ausschusses zur Kontrolle der Ausgaben des Handelsministeriums. Danach zog er sich aus der Politik zurück und führte von 1936 bis 1956 ein eigenes Eisenbahnunternehmen, die Washington & Old Dominion Railroad Company.