Johan Van Hecke werd politiek actief voor de CVP en werd voor deze partij in 1982 gemeenteraadslid van Oosterzele, waar hij van 1989 tot 1999 burgemeester was. In 1999 verhuisde hij naar Oostende, waar hij enkele maanden in 2001 gemeenteraadslid was. In 2002 keerde hij terug naar Oosterzele en was er van 2006 tot 2009 nogmaals gemeenteraadslid.
Van 1983 tot 1985 was hij ook voorzitter van Jong CVP en daarna zetelde hij van 1985 tot 1997 voor het arrondissement Gent-Eeklo in de Kamer van volksvertegenwoordigers, waar hij van 1991 tot 1993 voorzitter van de CVP-fractie was. Van 1993 tot 1996 was hij vervolgens nationaal voorzitter van zijn partij. In de periode december 1985-mei 1995 had hij als gevolg van het toen bestaande dubbelmandaat ook zitting in de Vlaamse Raad, de voorloper van het huidige Vlaams Parlement.
Toen in 1996 bekend werd dat zijn huwelijk was beëindigd en hij een relatie had met journaliste Els De Temmerman, nam Johan Van Hecke abrupt ontslag als partijvoorzitter. Hij ontliep de pers langs een brandladder. Vervolgens werkte hij wegens zijn grote belangstelling voor Afrika van 1997 tot 1999 als directeur van het Instituut voor Democratie en Ontwikkeling in Zuid-Afrika.
In 1999 werd hij voor de CVP verkozen in het Europees Parlement. Hij vervreemdde daarna echter van de CVP en toen de partij in 2001 van naam veranderde en vanaf dan CD&V heette, richtte hij in 2001 een eigen partij op - de Nieuwe Christen-Democraten (NCD) - samen met voormalig minister Karel Pinxten, Herman Schueremans en Annemie Turtelboom. In 2002 werd bekend dat de lijst zou integreren in de VLD. Toenmalig CD&V-voorzitter Stefaan De Clerck bracht toen naar buiten dat hij een gesprek tussen Johan Van Hecke en Karel De Gucht had afgeluisterd, waarin beiden Van Heckes overstap in detail hadden besproken. In 2004 werd hij herverkozen in het Europees Parlement op de lijst VLD-Vivant.[2]
In 2008 werd Johan Van Hecke samen met Els De Temmerman eigenaar van Cassia Lodge in Oeganda, dat ze in 2018 verkochten.[3] Op 7 juli 2011 werd bekend dat De Temmerman en Van Hecke ouders waren geworden van een tweeling. De bevalling werd uitgevoerd door toenmalig sp.a-senatorMarleen Temmerman.[4]