Nato a San Francisco, Sherman crebbe a New York, dove frequentò una scuola pubblica. Iniziò la sua carriera come attore, in una compagnia teatrale di Baltimora prima di tornare a New York. Fu la famosa attrice Mrs. Leslie Carter che gli affidò il suo primo ruolo nel 1904 in una messa in scena di Judith of Bethulia, con Nance O'Neil nel ruolo di Judith[1].
Apparve per la prima volta sullo schermo nel 1914 in Behind the Scenes, dove recitava accanto a Mary Pickford. Nel 1920 ebbe uno dei ruoli principali in Agonia sui ghiacci di D.W. Griffith, in cui interpretava la parte di Lennox, il seduttore senza scrupoli che mette incinta la protagonista, interpretata dalla virginale Lillian Gish.
Nel 1928 Sherman passò dietro la macchina da presa, girando il suo primo film come regista. Nella sua carriera, si contano una quindicina di regie: tra le attrici con le quali lavorò, si ricordano Mae West, Katharine Hepburn, Ina Claire. Memore delle difficoltà degli attori nel trovare scritture, da regista usò molto i vecchi attori come interpreti dei suoi film[1].
Sherman morì di polmonite nel 1934, all'età di 49 anni, mentre stava iniziando le riprese di Becky Sharp, il primo film girato in tricromia (Technicolor a tre colori), che aveva come protagonista Miriam Hopkins. Fu sostituito sul set da Rouben Mamoulian.