De school werd in 1253 als "Latijnse school" opgericht. Gerardus Vossius was van 1600 tot 1623 rector van deze school. Isaac Beeckman volgde hem in 1627 op als rector. Tegenwoordig is de school vernoemd naar een oud-leerling, de 17e-eeuwse staatsman Johan de Witt. In 2003 werd tijdens het lustrum uitbundig het 750-jarig bestaan gevierd.[2]
In 1993 betrok de school het pand Oranjepark 11 (waar vanaf 1957 het Titus Brandsmacollege was gevestigd). Vanaf 2009 tot 4 november 2013 was het Johan de Witt-gymnasium tijdelijk gevestigd in het monumentale pand Doelesteijn, aan het Steegoversloot, omdat de locatie aan het Oranjepark werd verbouwd. Sinds het schooljaar 2014/2015 is de school weer gevestigd aan het Oranjepark 11.
De schoolkrant van het Johan de Witt-gymnasium, de Janus, is in 1938 opgericht.
Schoollied
Het Eia
Latijn Eia cantemus, sodales, carmen eloquentiae Cui studemus, nos amici, fervida cupidine Namque magni semper aestimabitur facundia Vivat ergo, fiat nobis, nobilis sodalitas
Nederlands Kom, laten wij zingen, broeders, een lied over de welsprekendheid Die wij liefhebben, wij vrienden, met brandende begeerte Want waarlijk zal de spreekvaardigheid altijd hoog in aanzien staan Leve aldus, moge het ons overkomen, de nobele broederschap
