Shaw speelde op highschooltuba, maar stapte al snel over op de bas. Hij werkte bij Fate Marable die met zijn band op schepen op de Mississippi speelde (1938-1941). Na zijn diensttijd in de marine (1942-ca. 1944) speelde hij veel bij Louis Armstrong. Hij baste in diens laatste bigband (1945-1947), de All Stars (tot 1950), in de jaren 1952-1956 en de periode 1962-1964. ook in de jaren erna speelde hij af en toe bij de trompettist. Hij trad met Armstrong op in de films "The Glenn Miller Story" (1954) en "High Society" (1956). Begin jaren vijftig studeerde Shaw compositie aan de universiteit van Gent.
Shaw werkte bij CBS (met Russ Case) en in het trio van Teddy Wilson. Ook speelde hij bij Benny Goodman, onder andere tijdens een tournee door Midden-Amerika) (1962). Na de jaren zestig was Shaw in New York actief als freelancer. Shaw heeft een paar platen op zijn naam staan, waaronder twee met zijn Louis Armstrong Legacy Band.