In november 1918, tijdens de val van het keizerrijk van Wilhelm II, werd Pieck lid van de links-radicale Spartakusbund. In 1919 werd de Spartakusbund de Kommunistische Partei Deutschlands (KPD). In 1921 werd Pieck lid van het Uitvoerend Comité (EKKI) van de Communistische Internationale (Comintern). Van 1921 tot 1928 was hij lid van de Pruisische Landdag en vanaf 1925 was hij voorzitter van de Duitse Rode Hulp (communistische hulporganisatie). Vanaf 1925 was Pieck lid van het Centraal Comité van de KPD. Van 1937 tot 1945 leefde hij in ballingschap in Frankrijk, België en in de Sovjet-Unie.
Na de Duitse capitulatie (1945) vestigde hij zich in de Sovjet-bezettingszone en was vervolgens voorzitter van het Centraal Comité van de KPD. Na de oorlog dwong het tijdelijke Sovjetgezag de Oost-Duitse KPD en de Oost-Duitse SPD tot een samensmelting (Sozialistische Einheitspartei Deutschlands - SED). Van 1946 tot 1954 was Pieck samen met Otto Grotewohl voorzitter van de SED. Op 11 oktober 1949 werd Pieck als staatspresident van de DDR (Duitse Democratische Republiek) beëdigd. In 1953 werd hij door de Volkskammer herkozen. In 1960 overleed hij in Oost-Berlijn.