Schon unter Friedrich II. war er auf diplomatische Missionen geschickt worden, aber am 8. Mai 1789 wurde er zum außerordentlichen Gesandten und bevollmächtigten Minister in St. Petersburg ernannt, wo er am 22. Juni 1789 das Beglaubigungsschreiben überreichte. Am 9. September 1789 wurde er zudem in den preußischen Grafenstand erhoben. Am 7. Februar 1793 erhielt er zudem den Charakter als Generalmajor. Der König berief Goltz am 24. Februar 1794 aus St. Petersburg zurück und verlieh ihm den Roten Adlerorden. Goltz war nicht sehr erfreut über seine Abberufung; das Angebot eines Dragonerregiments lehnte er ab. So bekam er zunächst nur die Pension als Generalmajor von 1000 Talern, die der König aber noch auf 1200 Taler erhöhte. Am 1. Januar 1795 wurde er trotzdem Chef des Leibkürassierregiments und am 23. Mai 1796 mit seinem Regiment der Observationsarmee in Westfalen zugeordnet. Goltz erhielt am 17. Februar 1797 seine Demission und eine Pension von 2000 Talern jährlich. Er erhielt am 10. Januar 1807 den Charakter eines Generalleutnants.