Van Goltstein entstammte einem wohlhabenden JülicherAdelsgeschlecht. 1794 flüchtete die Familie nach Ostfriesland, kehrte später zurück und ließ sich in Utrecht nieder, wo van Goltstein aufwuchs. Sein Vater Evert Jan Benjamin van Goltstein war Bürgermeister von Wageningen, seine Mutter hieß Frederica van der Capellen. Er hatte sieben Brüder und Schwestern. Einer seiner Brüder war Hendrik Rudolph Willem van Goltstein van Oldenaller, und er war der Onkel von Willem van Goltstein van Oldenaller, die beide ebenfalls Politiker waren.
Van Goltstein studierte an der Utrechter Universität Rechtswissenschaften. 1811 ließ er sich ebendort als Rechtsanwalt nieder.
Am 28. September 1828 heiratete er die BaronessAdolphine Wernerdine van Pallandt. Die Ehe blieb kinderlos.
1849 bis 1850 und 1856 bis 1858 war er Vorsitzender der Zweiten Kammer, dessen Mitglied er bis zu seinem Tod blieb. Von 1858 bis 1860 war er Außenminister.
