1944 gelangten Cozy Cole's All Star Band mit „Just One More Chance“ in die „Harlem Hit Parade“; 1945 begleitete er u. a. Carmen Jones am Broadway, spielte aber auch mit Benny Goodman und von 1949 bis 1954 mit Louis Armstrong, den er auch auf dessen Europa-Touren 1949 und 1952 begleitete. 1954 gründete er mit Gene Krupa eine Schlagzeug-Schule in New York City. Neben seiner Lehrertätigkeit trat er aber in den 1950er Jahren auch im „Metropole Cafe“ auf und spielte 1957 mit Jack Teagarden und Earl Hines auf ihrer Europatour. In den 1960er Jahren tourte er mit einer eigenen Combo, in den 1970er Jahren mit Cab Calloway und Benny Carter. 1981 starb er an Krebs.
Mit Topsy II (auf dem er ein langes Solo hat) hatte er einen Hit, der es 1958 in die Billboard 100 Charts für Popmusik bis Platz 3 brachte und sich über eine Million Mal verkaufte. Topsy war ursprünglich ein Nummer-1-R&B-Hit von Benny Goodman aus dem Jahr 1938 gewesen. Mit dem ersten Teil von Topsy sowie mit dem Nachfolger Turvy (der englische Ausdruck topsyturvy steht für heilloses Durcheinander) landete er ebenfalls noch in den Top 40 (Platz 27 bzw. 36).
Sein noch heute spürbarer Einfluss selbst auf zeitgenössische Rock-Drummer zeigt sich beispielsweise daran, dass Cozy Powell sich nach seinem Vorbild benannte.