Il entre au ministère des Affaires étrangères à Berlin et est responsable des affaires orientales. Malgré sa nomination comme ambassadeur à Athènes en 1874, il reste employé de l'office des Affaires étrangères. En 1875, il fut envoyé à Pétersbourg dans le cadre de l'intérim de l'ambassadeur allemand malade.
Radowitz propose à la Russie le soutien allemand aux intérêts russes dans les Balkans pour la réciprocité en Occident. Ce qu'on appellera la mission Radowitz est toujours un sujet de discussions historiques. On soupçonne que Bismarck veut réaliser avec cette action seulement une politique active de la Russie en Orient puis en discuter avec les autres grandes puissances européennes. Les conflits qui en résultent dans les Balkans auraient soulagé le centre de l'Europe. Il participe en 1878 en tant qu'émissaire au congrès de Berlin.
Joseph Maria von Radowitz est secrétaire d'État aux Affaires étrangères du au après la mort de Bernhard Ernst von Bülow.
À l'été 1880, il dirige l'ambassade à Paris en mission spéciale. En , il devient ambassadeur du Reich allemand à Constantinople et en 1892 à Madrid. En 1906, il représente le Reich allemand à la conférence d'Algésiras.
Famille
Il est marié depuis 1868 à Nadejda Ivanovna von Ozerow (1840-1912), une fille d'Ivan Petrovitch von Ozerow (1806-1880). Le couple a six enfants, dont :
Hajo Holborn (Hrsg.): Aufzeichnungen und Erinnerungen aus dem Leben des Botschafters Joseph Maria von Radowitz. Deutsche Verlagsanstalt, Stuttgart/Berlin/Leipzig 1925.