Numazu prospère durant l'époque d'Edo quand Numazu-juku vit au long du Tōkaidō et huit générations du clan Mizuno résident au château, avec des revenus s'élevant à 50 000 koku.
Après la restauration de Meiji, le domaine de Numazu est aboli avec la création du domaine de Shizuoka pour l'ancien shōgunTokugawa Yoshinobu en . En 1873 cependant, le gouvernement de Meiji ordonne le démantèlement de tous les châteaux et fortifications du Japon. Le château de Numazu est donc détruit, ses douves comblées et ses terres vendues à des propriétaires privés.
Tout ce qu'il en reste aujourd'hui est un petit parc avec un monument indiquant l'emplacement du donjon dans la motte castrale intérieure et une petite partie du mur en pierres qui longeait une partie des anciennes douves.