Hij trad in de politieke voetstappen van zijn vader en was van 1988 tot 1989 kabinetsadviseur van staatssecretarissen Herman Van Rompuy en Wivina Demeester.
In oktober 1990 volgde hij Antoon Steverlynck op als lid van de Kamer van volksvertegenwoordigers voor het arrondissement Kortrijk. In de periode oktober 1990-mei 1995 had hij als gevolg van het toen bestaande dubbelmandaat ook zitting in de Vlaamse Raad. De Vlaamse Raad was vanaf 21 oktober 1980 de opvolger van de Cultuurraad voor de Nederlandse Cultuurgemeenschap, die op 7 december 1971 werd geïnstalleerd, en was de voorloper van het huidige Vlaams Parlement. Hij zetelde in de Kamer tot in 2001, vervolgens zetelde hij van 2003 tot 2004 in de Senaat, van 2004 tot 2007 was hij daarna lid van het Vlaams Parlement en van 2007 tot 2013 was hij opnieuw Kamerlid. In de Kamer was hij in 1999 korte tijd CVP-fractieleider en in 2008 enkele maanden quaestor.
Op 30 december 2008, na de val van de regering Leterme door het Fortis-schandaal, werd De Clerck opnieuw minister van Justitie, dit keer in de regering-Van Rompuy. Hij verving Jo Vandeurzen op deze post.[11] In de zomer van 2009 kwam hij onder vuur te liggen nadat 13 gevangenen ontsnapten op 2 weken tijd.[12] De Clerck was geen minister meer in de regering-Di Rupo die op 6 december 2011 werd ingezworen. Hij keerde terug in de Kamer en als burgemeester.[13][14]
Van 2001 tot 2012 was hij burgemeester van Kortrijk. In zijn periode als minister - tussen 30 december 2008 en 6 december 2011 - liet hij zich vervangen door Lieven Lybeer.[15][16]
Op 14 oktober 2012 nam De Clerck deel aan de gemeenteraadsverkiezingen. Hoewel CD&V 33% van de stemmen behaalde en De Clerck het meeste voorkeurstemmen had, werd de dag nadien bekendgemaakt dat Vincent Van Quickenborne van Open Vld met een stadscoalitie tussen Open Vld, N-VA en sp.a de burgemeesterssjerp overnam. Dit betekende het einde van 150 jaar katholieken en daarna christendemocraten in het bestuur van Kortrijk.[17][18]
In 2013 werd hij door de regering-Di Rupo aangesteld als voorzitter van de raad van bestuur van Belgacom.[19] Daarvoor moest hij ontslag nemen als Kamerlid. Door zijn vertrek uit de Kamer maakte hij aanspraak op een vertrekpremie van 270.000 euro. Het feit dat hij deze, ondanks zijn vrijwillig vertrek, toch wilde opnemen, zorgde voor kritiek in de media en de publieke opinie. Zelf verklaarde hij een groot deel hiervan te willen schenken aan sociale, culturele en wetenschappelijke projecten in de streek van Kortrijk.[20] Uiteindelijk stemde het federale parlement een wet dat Kamerleden bij vrijwillig vertrek geen recht meer hebben op een vertrekpremie.[21]
In 2018 kwam hij nogmaals op bij de gemeenteraadsverkiezingen. Zijn partij werd de grote verliezer in de stad, maar De Clerck raakte vanop de lijstduwersplaats verkozen en ging opnieuw in de gemeenteraad zetelen. Begin juli 2019 besloot hij ontslag te nemen als gemeenteraadslid, waardoor hij de actieve politiek verliet.[22]