Toen hij twaalf was, won Gibbs als xylofonist een amateurwedstrijd. Na zijn diensttijd tijdens de Tweede Wereldoorlog speelde hij met Tommy Dorsey (1946 en 1948), toerde hij met Chubby Jackson (in Scandinavië, 1947-1948) en werkte hij met Buddy Rich (1948), Woody Herman's Herd (1948/1949) en Benny Goodman (1950-1952). In de jaren vijftig leidde hij verschillende jazzgroepen, waaronder de bigbandDream Band en nam hij regelmatig een album op. Hij won verschillende prestigieuze polls, waaronder die in Downbeat. Ook verscheen hij in die jaren vaak op de televisie. In 1950-1951 was hij een regelmatige gast in het tv-programma Star Time en in 1953-1954 was hij een populaire gast in Fred Allen's show Judge for Yourself. Eind jaren vijftig was hij regelmatig te zien in de The Steve Allen Show, waarvan hij de muzikale leider was. In de jaren tachtig en negentig had hij een kwintet met Buddy DeFranco, waarmee hij nog steeds samenwerkt.