Родился в Берлине. По окончании школы, с 1878 по 1883 годы учился профессии фортепьянного мастера. В 1890 году он был выбран председателем профсоюза производителей фортепиано. В 1893—1903 годах являлся редактором социал-демократической газеты Vorwärts («Вперёд»). В 1903 году он был выбран в генеральную комиссию профсоюзов Германии.
В кабинете Шейдемана Шмидт был назначен министром продовольствия. В дальнейшем также неоднократно занимал министерские должности, а в правительстве Густава Штреземана Шмидт был вице-канцлером.