Vagnhärad wurde erstmals im Jahre 1350 als Wanghæradh erwähnt. 1997 gab es einen großen Erdrutsch, bei dem mehrere Häuser in den Trosaån rutschten.
Die Stadt war das Vorbild für den Ort Hedeby in Sven Delblancs Romanen Åminne (1970), Stenfågel (1973), Vinteride (1974) und Stadsporten (1976), die in Schweden zwischen 1978 und 1982 als erfolgreiche 18-teilige FernsehserieHedebyborna verfilmt wurde. Die Serie wurde in und um Vagnhärad gedreht.