Dans sa jeunesse, Eliot Zigmund étudie au « Mannes College of Music » puis au « City College » de New York. Il devient professionnel à 16 ans.
De 1976 à 1979, il est batteur du trio du pianiste Bill Evans. Dans les années 1980, il accompagne, pendant 5 ans, le pianiste français Michel Petrucciani.