Va estudiar Dret a les universitats de Tübingen i Berlín. Després de graduar-se el 1897, inicialment es va unir a un bufet d'advocats local a la seva ciutat natal. El 1901 es va traslladar a Berlín per treballar en el Ministeri d'Afers Exteriors com a funcionari. Va ser nomenat vicecónsul de l'ambaixada alemanya a Londres en 1903 i posteriorment va ser enviat a l'ambaixada a Turquia.
En 1919 va tornar a la diplomàcia, i fou destinat a l'ambaixada a Copenhaguen. A partir del 1921 fins al 1930 va ser ambaixador a Roma, i posteriorment tornà de nou a l'ambaixada a Londres.
Va tornar a Alemanya en 1932 i se'l va nomenar Ministre d'Afers Exteriors amb Franz von Papen. Va afavorir la retirada alemanya de la Societat de Nacions. Va estar constantment enfrontat a Joachim von Ribbentrop que mantenia una oficina paral·lela al Ministeri amb l'autorització de Hitler i que negociava d'esquitllentes amb els britànics una gran aliança angloalemanya, a més de ser contrari a abandonar la posició de vinculació amb la Xina enfront del Japó.
El 4 de febrer de 1938 va dimitir com a ministre, tot i que va romandre en el Govern.
En 1939 el van designar Governador del Protectorat de Bohèmia i Moràvia. Va establir la censura de premsa i va suprimir els partits polítics i els sindicats. En 1941, Reinhard Heydrich va començar a exercir les seves funcions; Neurath va intentar renunciar, però Hitler no acceptà la seva renúncia fins al 1943. Aquell any, Heydrich va ser assassinat i Wilhelm Frick va ser designat oficialment successor de von Neurath.