En , il est est nommé au parquet de la cour d’appel de Buéa au poste d'officier comme procureur. Le , il est nommé dans le gouvernement Paul Biya, vice-ministre de l'administration territoriale. En , il devient ministre de l'élevage et des industries animales. En , il est nommé ministre des mines et de l'énergie. Puis il quitte le gouvernement le . Le , il est nommé Ambassadeur du Cameroun au Canada et occupe cette fonction pendant les 20 années qui suivent[3].
En , il prend la présidence du conseil d'administration de la Camair-Co (qui succéda à la défunte Cameroon Airlines)[4],[5], et a pour mission de relancer la compagnie aérienne nationalisée[6].
Le , il est nommé Premier Ministre, Chef du Gouvernement par décret présidentiel.
Le , il est nommé grand chancelier des ordres nationaux par décret présidentiel[7].
Le , il est élu pour un an président de la 79e session de l’Assemblée générale des Nations unies[9] en remplaçement de Dennis Francis en septembre 2024[10]. Ce qui constitue une victoire diplomatique pour le Cameroun et l'Afrique centrale notamment, après la présidence de la 59e session de l'Assemblée générale des Nations unies en 2004 par le Gabonais Jean Ping[11].
En , il ordonne le renvoi de six élèves de la promotion ENAM 2012-2014, ceux-ci n'ayant pas passé les concours d'admission mais ayant été pistonnés par le président de l'Assemblée nationale, Cavayé Yeguié Djibril[13].
En , Philémon Yang rencontre le président chinois Xi Jinping, et réaffirme son soutien à une Chine unie qui ne reconnaît pas Taïwan[14].
Son mandat de Premier ministre est ponctué de multiples rumeurs de démission[15],[16].
Il est reconduit au poste de Premier ministre le [18].
En , il se rend dans les régions anglophones du Cameroun en crise pour engager un processus de dialogue avec les populations[19]. En , il restructure la direction générale des douanes[20].
Il est très impopulaire auprès des communautés anglophones camerounaises[21].
Philemon Yang détient par ailleurs le record de longévité à la fonction de Premier ministre, avec neuf ans et six mois.
Le , Philemon Yang est nommé grand chancelier des ordres nationaux avec rang de ministre d'État. Ce titre l'élève de droit à la dignité de grand collier de l'ordre de la Valeur[7].
(en) Mark Dike DeLancey, Rebecca Mbuh et Mark W. Delancey, « Yang, Philemon Yunji (1947-) », in Historical Dictionary of the Republic of Cameroon, Scarecrow Press, Lanham, Md, 2010 (4e éd.), p. 398 (ISBN9780810873995)