Alexander studierte an der Ray Knapp School in Chicago und nahm in New York Privatunterricht bei Sam Ulano. Ende der 1940er Jahre begann er mit Jimmy McPartland zu arbeiten und wirkte auch an dessen 1949 aufgenommenen 78ern für Prestige Records mit („Daughter Of Sister Kate“, „Royal Garden Blues“). Anfang der 1950er Jahre wechselte er dann zur Band von dessen Frau Marian McPartland, an dessen Einspielungen für Savoy Records (1952) er mitwirkte. Mitte der 1950er Jahre nahm er mit dem Sauter-Finegan Orchestra auf, daneben auch in kleiner Besetzung mit dem Gitarristen Johnny Smith (1955) und Charlie Ventura (1957).
1980 beendete ein Schlaganfall seine musikalische Karriere. Ein bemerkenswertes Dokument seines Könnens ist eine fünfundzwanzigminütige Aufnahme in der Filmserie Good Years of Jazz von 1962, in der er mit Georgie Auld und Doc Severinsen unter Leitung des Gitarristen Mike Bryan zu hören ist.