Sherman blev advokat 1880 och var borgmästare för Utica 1884–1885.[1] Han blev invald i USA:s representanthus1886, omvaldes en gång, men förlorade mot Henry W. Bentley i 1890 års kongressval. Sherman återvände till representanthuset två år senare och omvaldes ytterligare sju gånger.
När republikanska partiet nominerade Sherman för ämbetet som USA:s vicepresident, var han ordförande för kommittén för indianärenden, Committee on Indian Affairs, i representanthuset. Som vicepresident tjänstgjorde han 1909-1912 under William Howard Taft. Han kandiderade för omval, men avled några dagar före valet.