Barangkali kota Eksjö sudah muncul pada Abad Pertengahan saat menjadi pusat thing, sebuah dewan regional. Kota ini disebutkan pertama kali pada abad ke-14 dan dianugerahi piagam di awal abad ke-15 oleh Erik av Pommern. Namun, piagam kota ini pernah dicabut oleh Raja Gustav Vasa akibat pemberontakan Nils Dacke.
Seperti banyak kota lain di Swedia, kota ini diterpa kebakaran hebat pada abad ke-19, tepatnya tahun 1856. Namun sebagian besar kota ini, khususnya di bagian utara, utuh, dengan beberapa bagian yang masih tersisa sejak pembangunan kota pada tahun 1568, yang dipimpin oleh tokoh BelandaArendt de Roy.
