Ia merupakan lulusan Franklin Academy dan Vermont University. Ia menjadi pengacara pada tahun 1845 dan mulai praktik pengacaranya di Malone. Jabatan publik yang pernah dipegang, antara lain, jaksa wilayah Franklin County (1846 - 1849), anggota DPR New York (1850 - 1851) dan anggota Senat negara bagian New York (1858 - 1860). Ia terpilih menjadi anggota Kongres AS (1861-1863, Partai Republik), lalu terpilih lagi pada tahun 1869 - 1877.
Suami dari Mary King Wheeler ini terpilih sebagai Wakil Presiden ke-19 mendampingi Presiden Rutherford B Hayes pada tahun 1876 (masa jabatan 4 Maret 1877 - 3 Maret 1881). Setelah itu ia pensiun dari kehidupan politik dan bisnis karena faktor kesehatan.
William Wheeler meninggal dunia di Malone pada tanggal 4 Juni 1887 dan dimakamkan di Pemakaman Morningside, Malone.
