En 1984, il rejoint la Snecma comme chef des programmes de recherche Matériaux et Procédés. Il est nommé directeur adjoint de la Qualité de Snecma en 1987, puis directeur de la Qualité deux ans plus tard. Il préside à ce titre la commission Qualité du Groupement des industries françaises aéronautiques et spatiales (GIFAS) de 1990 à 1993.
Chef du bureau d’études de Snecma en 1993, il devient directeur technique adjoint l’année suivante. En 1996, il devient directeur technique de Snecma, puis prend en 1999 la direction générale de la division Moteurs-fusées.
Il est nommé président-directeur général de Snecma Moteurs (aujourd’hui Safran Aircraft Engines) en 2002.
En 2004, Jean-Paul Herteman est nommé directeur général adjoint du groupe Snecma et directeur général de la branche Propulsion aéronautique et spatiale. À la création du groupe Safran en 2005, il est confirmé dans ses fonctions.
En , il prend la direction générale de la branche Défense Sécurité.
Il est désigné comme président du directoire du groupe Safran en [3],[4] et prend ses fonctions en septembre.
En 2010, il est nommé vice-président du Conseil général de l'Armement[7] (CGARM), organisme présidé par le ministre de la Défense, et traitant les questions relatives à l'armement et aux industries de défense.
Le , le conseil d'administration de Safran a nommé Jean-Paul Herteman au poste de président-directeur général du Groupe Safran. Il occupe ce poste jusqu'au .