Gibbs gewann im Alter von zwölf Jahren einen Amateur-Wettbewerb als Xylophonist. Nach seiner Militärdienstzeit im Zweiten Weltkrieg trat er 1946 bis 1948 mit Tommy Dorsey auf, begleitete Chubby Jackson auf einer Skandinavientournee und arbeitete dann mit Buddy Rich, Woody Hermans Band (1948/1949) und mit Benny Goodman (1950 bis 1952).
1957 ging er nach Los Angeles, wo er als Studiomusiker arbeitete und verschiedene Bands leitete, deren bekannteste die Terry Gibbs Dream Band war. In den 1960er Jahren arbeitete er als musikalischer Leiter der Steve Allen Show. In den 1980er und 1990er Jahren arbeitete er vorwiegend mit dem Quintett von Buddy DeFranco. Daneben gehörten Musiker wie Terry Pollard, Pete Jolly, Alice McLeod und John Campbell zu seinen Partnern.
Launching a New Sound in Music mit Max Bennett, Conte Candoli, Bob Enevoldsen, Med Flory, Vern Friley, Bill Holman, Pete Jolly, Charlie Kennedy, Mel Lewis, Joe Maini, Jackie Paris, Al Porcino, Frank Rosolino, Jackson Schwartz, Ray Triscari, Stu Williamson, 1959
Dream Band, Vol. 1 mit Max Bennett, Joe Cadena, Conte Candoli, Bob Enevoldsen, Med Flory, Vern Friley, Bill Holman, Pete Jolly, Charlie Kennedy, Mel Lewis, Joe Maini, Al Porcino, Jack Schwartz, Ray Triscari, Stu Williamson, 1959
The Dream Band, Vol. 2: The Sundown Sessions [live] mit John Audino, Bob Burgess, Conte Candoli, Buddy Clark, Med Flory, Vern Fryley, Frank Higgins, Charlie Kennedy, Lou Levy, Mel Lewis, Joe Maini, Bill Perkins, Jack Schwartz, Bill Smiley, Stu Williamson, 1959
Dream Band, Vol. 3: Flying Home mit Benny Aronov, John Audino, Max Bennett, Bob Burgess, Joe Cadena, Conte Candoli, Buddy Clark, Bob Edmondson, Bob Enevoldsen, Med Flory, Vern Friley, Bill Holman, Frank Huggins, Pete Jolly, Lee Katzman, Charlie Kennedy, Lou Levy, Mel Lewis, Joe Maini, Pat Moran, Jack Nimitz, Bill Perkins, Al Porcino, Frank Rosolino, Jack Schwartz, Bill Smiley, Ray Triscari, Stu Williamson, 1959
Vibrations, 1959
Swing Is Here, 1960
Music from Cole Porter's Can Can, 1960
Steve Allen Presents Terry Gibbs at the Piano mit Steve Allen, Herb Ellis, Donn Trenner, 1960
Dream Band, Vol. 4: Main Stem mit Conte Candoli, Buddy Clark, Bob Edmondson, Vern Friley, Frank Huggins, Richie Kamuca, Charlie Kennedy, Mel Lewis, Joe Maini, Pat Moran, Jack Nimitz, Bill Perkins, Al Porcino, Ray Triscari, Stu Williamson, 1961
The Dream Band, Vol. 5: Big Cat, 1961
The Exciting Terry Gibbs Band mit Conte Candoli, Buddy Clark, Bob Edmondson, Vern Friley, Frank Higgins, Richie Kamuca, Charlie Kennedy, Mel Lewis, Joe Maini, Pat Moran, Jack Nimitz, Bill Perkins, Al Porcino, Frank Rosolino, Ray Triscari, Stu Williamson, 1961
That Swing Thing, 1961
Straight Ahead, 1962
Explosion [live] mit Conte Candoli, Bob Edmondson, Vern Friley, Frank Huggins, Richie Kamuca, Charlie Kennedy, Mel Lewis, Joe Maini, Pat Moran, Jack Nimitz, Bill Perkins, Al Porcino, Frank Rosolino, Ray Triscari, Stu Williamson, 1962
Terry Gibbs Plays Jewish Melodies in Jazztime mit Alice Coltrane, Al Logan, Herman Wright, 1963
Plays Steve Allen mit Dave Carpenter, Buddy DeFranco, Gerry Gibbs, Tom Ranier, 1999
Dream Band, Vol. 6: One More Time mit Benny Aronov, John Audino, Max Bennett, Bob Burgess, Joe Cadena, Conte Candoli, Buddy Clark, Bob Enevoldsen, Med Flory, Vern Friley, Bill Holman, Pete Jolly, Lee Katzman, Charlie Kennedy, Irene Kral, Lou Levy, Mel Lewis, Joe Maini, Bill Perkins, Al Porcino, Jack Schwartz, Bill Smiley, Ray Triscari, Stu Williamson, 2002
From Me to You: A Tribute to Lionel Hampton mit Dave Carpenter, Pete Christlieb, Joey DeFrancesco, Jeff Hamilton, Mike Melvoin, Barbara Morrison, Franz Pusch, Anthony Wilson, 2003
52nd & Broadway: Songs of the Bebop Era mit Karen Elaine Bakunin, Dave Carpenter, Alexis Carreon, Ted Falcon, Ludvig Girdland, Terence Glenny, Jeff Hamilton, Gerardo Hilera, Norm Hughes, Victor Lawrence, Alan Mautner, Joe Meyer, Sam Most, Don Palmer, Nicholas Payton, Tom Ranier, James V. Ross, Harry Scorzo, Howie Shear, Kurt Snyder, Jean Sudbury, Francine Walsh, 2004
Feelin' Good: Live in Studio mit Eric Alexander, Ray Armando, Joey DeFrancesco, Dan Faehnle, Gerry Gibbs, 2005