Pada tahun 1886, Sherman terpilih sebagai anggota Kongres AS (wakil Partai Republik) sampai tahun 1890, saat ia kalah dari Henry W. Bentley. Sherman kembali ke Kongres dua tahun kemudian untuk memenangkan pemilihan pertama dari delapan kali pemilihan berturut-turut! Hal ini membantunya dalam pentas politik nasional Amerika Serikat. Pada tahun 1898, ia dicalonkan sebagai Ketua DPR AS sebelum ditawarkan jabatan General Appraiser di Pelabuhan New York oleh Presiden William McKinley. Sherman menolak tawaran ini setelah ditentang oleh konstituennya di Utica.
Pada tahun 1908 saat dicalonkan oleh Partai Republik sebagai wakil presiden yang mendampingi William H. Taft, Sherman menjabat sebagai ketua Komite bidang Masalah Indian. Selama kampanye di kemudian hari, Sherman mengalami serangan dari Edward Burke (jaksa wilayah Los Angeles) yang menyatakan bahwa Sherman adalah mantan partnernya di perusahaan Lumber and Dev Company, New Mexico. Burke juga menuduh bahwa Sherman telah menggunakan pengaruhnya dalam penggusuran tanah, tetapi tuduhannya tidak pernah terbukti mengganggu kampanyenya.