Philippe Ermenault commence le cyclisme à l'âge de quinze ans[1] après avoir pratiqué le judo[2].
En 1989, il obtient son premier titre de champion de France[1]. Il bénéficie du statut de sportif de haut niveau au sein d'EDF-GDF à partir de 1992[3]. Il dispute cette année-là ses premiers Jeux olympiques, à Barcelone. Il s'y classe cinquième de la poursuite individuelle et onzième de la poursuite par équipes.
En 1993, il obtient sa première médaille en championnat du monde en prenant la deuxième place de la poursuite individuelle à Hamar, en Norvège, où il est battu en finale par Graeme Obree.
Il remporte le titre olympique de la poursuite par équipe aux Jeux d'Atlanta, en 1996. L'équipe de France, composée de Philippe Ermenault, Jean-Michel Monin, Francis Moreau et Christophe Capelle, bat le record olympique à deux reprises durant ce tournoi, l'établissant à 4 min 5 s 930 en finale. En poursuite individuelle, Ermenault est battu en finale par Andrea Collinelli et obtient la médaille d'argent.
En 1997, il devient champion du monde de poursuite individuelle, à Perth. Il conserve son titre l'année suivante au vélodrome de Bordeaux.
Il met fin à sa carrière à l'issue des Jeux olympiques de Sydney en 2000 et devient cartographe au sein d'EDF-GDF[3]. Il est également pilote de moto lors de certaines courses organisées par la Société du Tour de France[3].
Des rues portent son nom à Flixecourt, depuis 2001[3], et Picquigny. Il a également reçu la médaille d'or de cette dernière commune[4],[5].