Au début de 1783, il est choisi comme ambassadeur en France, mais il n'occupe pas ce poste et devient secrétaire d'État aux Affaires étrangères sous William Pitt le Jeune en décembre de la même année. L’historien Jeremy Black a déclaré qu’en matière de politique étrangère, Pitt et d’autres dirigeants sont déçus de son action en tant que ministre. Il est anti-français mais ne développe pas une politique étrangère active et agressive. Au lieu de cela, le roi George III fixe lui-même les grandes lignes de la politique étrangère avant de perdre ses facultés mentales[1]. Le rejet par Pitt de la politique antirusse de Leeds est le coup fatal et il quitte ses fonctions en avril 1791[2].
Il ne fait rien pour entretenir de bonnes relations avec les États-Unis d’Amérique nouvellement indépendants: deux futurs présidents, John Adams et Thomas Jefferson, envoyés en mission des États-Unis, se sont tous deux plaints de son attitude et de sa "répugnance à avoir rien à faire avec nous "[3]. Alors que Adams, qui est plutôt anglophile par inclination, est prêt à pardonner et à oublier, Jefferson ne l'est pas, et on peut affirmer que la seule réussite durable de Leeds fut de favoriser l'hostilité implacable de Jefferson en tant que Président des États-Unis à la Grande-Bretagne et ses dirigeants[4].
Par la suite, il prend peu de part à la politique. En 1792, entendant des rumeurs selon lesquelles une nouvelle coalition pourrait être formée, il se propose imprudemment de prendre sa tête et se heurte à une forte opposition de Pitt et du roi[5].
Le fils aîné de son premier mariage, George Osborne, 6e duc de Leeds, lui succède au duché. Le deuxième fils de son premier mariage, Francis Osborne , est créé baron Godolphin en 1832. Les mémorandums politiques de Leeds ont été édités par Oscar Browning pour la Camden Society en 1884, et sa correspondance officielle compte huit volumes au British Museum.
Il épouse en premières noces, le 29 novembre 1773, Amelia Darcy, 12e baronne Darcy de Knayth et 9e baronne Conyers (1754-1784), fille de Robert Darcy, 4e comte d'Holderness et de Mary Doublet. Ils ont trois enfants.