Michel Piccoli kwam uit een familie van musici: zijn Zwitserse vader Henri Piccoli (afkomstig uit het kanton Ticino) was violist, zijn moeder Marcelle Expert-Bezançon was pianiste. Haar vader was een rijke industrieel en bekende politicus.
Piccoli's filmdebuut vond plaats in 1945 met een klein rolletje in Sortilèges van Christian-Jaque. De eerste film waarbij hij in de credits genoemd werd was Le point du jour van Louis Daquin in 1949. Gedurende de jaren vijftig speelde hij bijrollen in vele films, maar een grote naam werd hij nog niet. Hij werd in het Parijs van die tijd ook politiek actief en is dat steeds gebleven. Hij verkeerde in de linkse kringen van Jean-Paul Sartre en Simone de Beauvoir, werd lid van de communistisch-pacifistischeMouvement de la paix en keerde zich tegen de door geld geregeerde wereld waaruit de familie van zijn moeder voortkwam.
Piccoli trouwde drie keer. Hij was eerst gehuwd met de actrice Éléonore Hirt met wie hij een dochter kreeg. In 1965 ontmoette hij zangeres en actrice Juliette Gréco. Ze trouwden een jaar later en scheidden in 1977. In 1978 trouwde Piccoli met de scenariste Ludivine Clerc. Ze adopteerden twee kinderen van Poolse afkomst.
Michel Piccoli overleed op 94-jarige leeftijd aan de complicaties na een beroerte.