Détenteur d'un record personnel à 4,58 m en 1962, John Pennel est l'un des premiers athlètes à expérimenter les perches en fibre de verre. Il réalise successivement 4,95 m puis 4,98 m en début de saison 1963 mais ne devient pas le premier athlète à franchir la barre des 5,00 m, son compatriote Brian Sternberg réalisant cet exploit en peu avant de se blesser gravement. Pennel réalise 5,13 m le à Londres et améliore de cinq centimètres le nouveau record du monde de Sternberg établi deux mois auparavant, puis porte ce record à 5,20 m le à Coral Gables.
Dépossédé de son record du monde par son compatriote Fred Hansen durant l'été 1964, John Pennel ne prend que la onzième place des Jeux olympiques de Tokyo avec 4,70 m. En 1965, il remporte les Championnats des États-Unis en plein air ainsi que les Championnats du monde universitaires se déroulant à Budapest. Il établit un nouveau record du monde le à Los Angeles avec 5,34 m, soit deux centimètres de mieux que Bob Seagren, nouveau venu sur le circuit américain et détenteur de la meilleure marque mondiale depuis le mois de mai.
Qualifié pour les Jeux olympiques de 1968, il se classe cinquième du concours avec 5,35 m, la victoire finale revenant à Bob Seagren. Mais John Pennel parvient à établir un nouveau record du monde du saut à la perche, le quatrième de sa carrière, le à Sacramento en franchissant 5,44 m. Handicapé par des blessures, il met un terme à sa carrière d'athlète durant la saison 1970.