Jones was lid van de Engelse pop-rock/mod band the Small Faces van 1965 tot 1969. Na het vertrek van leadzanger en leadgitarist Steve Marriott in 1969, trok de groep Rod Stewart als zanger aan en Ron Wood als gitarist, beiden afkomstig van de Jeff Beck Group. Hoewel hun platenmaatschappij Warner Brothers eigenlijk wilde dat zij hun naam zouden behouden (voor de herkenning), hebben de Small Faces hun naam toentertijd tóch veranderd, en wel in The Faces. Jones heeft tot het einde van de groep in 1976 vijf albums met The Faces gemaakt.
Van 1978 tot 1983 was Jones drummer van The Who. Hij verving hun originele drummer Keith Moon, die dat jaar gestorven was aan een overdosis medicijnen in combinatie met zijn alcoholisme. Hij nam met The Who twee platen op, te weten: Face Dances en It's Hard. Jones kwam in 1985 eenmalig terug bij The Who om hen bij te staan bij het concert voor Live Aid.