Mike Mangini commença la batterie à l'âge de cinq ans et, à neuf ans, était déjà capable d'imiter les performances de Buddy Rich, à raison de six à dix heures d'entraînement par jour. Au lycée, il fut également un jeune musicien remarqué, mais laissa provisoirement la musique de côté après son diplôme afin d'étudier l'informatique à l'université de Bentley. Par des voies détournées, ces études le conduiront à travailler sur un programme analysant les rapports entre le cerveau et le corps humain ; on retrouvera les fruits de ce travail dans les méthodes d'apprentissage du rythme qu'il rédigera par la suite.
En 1987, Mangini réalise une de ses premières performances musicales de haut niveau : il joue de la batterie pour le Rick Berlin Band à Boston, où il travaille avec le bassiste Phillip Bynoe. Durant la même période, il donne des cours privés de batterie, à Boston.
En 1991, il commence à travailler avec le groupe de thrash metalAnnihilator ; on le retrouvera sur plusieurs pistes de l'album Set the World on Fire (1993)[1]. Il participera à la tournée promotionnelle de cet album jusqu'en 1994, année où il rejoint le groupe Extreme dont le guitariste, Nuno Bettencourt, est un ami de longue date. Après la dissolution du groupe en 1996, il est informé par Jeff Campitelli (le batteur de Joe Satriani) que le guitariste Steve Vai auditionne des batteurs pour son groupe. Mike Mangini passe l'audition avec succès, et part pour Los Angeles.
Il ne reviendra à Boston qu'en 2000, où il devient maître de conférences au Berklee College of Music. Parallèlement, il participe à la formation de Tribe of Judah, avec d'anciens membres d'Extreme (le chanteur Gary Cherone et le bassiste Pat Badger), et travaille avec Dale Bozzio (ancien membre du groupe new wave Missing Persons). Il enregistre de nombreux disques, parmi lesquels un deuxième album avec Annihilator. Il joue également plus ponctuellement pour certains artistes comme Sal DiFusco, Bill Lonero et Chris Emerson.
Mangini est connu pour ses prouesses techniques, et détient 5 records du monde de vitesse à la batterie. Il a rédigé deux ouvrages sur ses techniques de batteur, intitulés Rhythm Knowledge.
Le , Dream Theater confirme que Mike Mangini est leur nouveau batteur.
En 2023 Mike Portnoy revient dans le groupe Dream Theater. Mike Mangini le prend bien et dit que ces 13 ans au sein de Dream Theater ont été une expérience incroyable[3].