Karel studeerde als jongeling aan het Drietalencollege. Op zijn vijftiende werd hij schutterskoning.
Hij trad in 1577 in dienst bij landvoogd don Juan van Oostenrijk. Na diens aanval op Namen ontvluchtte hij het geweld in de Nederlanden.
Opstandeling
In 1580 trouwde hij in Aken met Maria van Brimeu, gravin van Megen, weduwe van Lancelot van Berlaymont. Van dan af droeg hij de titel Prins van Chimay.
Zijn vrouw was overtuigd calvinist en oefende een sterke invloed uit op haar jonge echtgenoot. In 1582 legde hij in Sedan openbaar de geloofsbelijdenis van de hervormde godsdienst af. Via Calais en Vlissingen trok hij naar Antwerpen waar Willem van Oranje zich bevond. Karel raakte echter spoedig ontgoocheld in de leiders van de Opstand en moedigde de Antwerpse bevolking aan om in het verweer te komen tegen de Franse Furie. Kort daarop trok hij zich terug in het kasteel van Beveren.
Stadhouder van Vlaanderen
Daar werd hij aangezocht door vertegenwoordigers van de stad Brugge en van het Brugse Vrije om het bestuur op zich te nemen van de stad Brugge en het platteland rond Brugge. Gent en Ieper sloten zich daarbij aan waardoor Karel stadhouder van Vlaanderen werd in opdracht van de Staten van Vlaanderen. Zijn beleid was er op gericht de anarchie te bestrijden en tot een verzoening te komen met koning Filips.
Zo verzette hij zich tegen het voornemen van Willem van Oranje om Franse en Zwitserse troepen naar Vlaanderen te sturen; hij weigerde Frédéric Perrenot uit te leveren aan François van Ryhove, hij beschermde de katholieken in Brugge en Gent, liet de Oranjegetrouwe troepen de stad uitzetten en hij verzette zich tegen de nominatie van Willem van Oranje als landvoogd der Nederlanden. Uiteindelijk kon de verzoening op 28 mei 1584 worden ondertekend.
Karel nam hierop ontslag als stadhouder.
Militair in Spaanse dienst
Karel van Croÿ trad in 1584 opnieuw toe tot de katholieke kerk en liet zich scheiden van zijn calvinistische vrouw. Hij werd hierop een militair commandant in dienst van de Spaanse koning, onder het opperbevel van de hertog van Parma en diens opvolgers.
Hij nam deel aan de belegeringen van Grave, van Venlo en Neuss. Hij belegerde en veroverde Bonn in de Keulse Oorlog. Van 1590 tot 1592 nam hij deel aan de veldtocht tegen Frankrijk.
Na de dood van zijn vader in 1595 kwam hij in het bezit van een uitgebreid domein waarvan het beheer hem nog weinig gelegenheid liet tot militaire actie.
Het kasteel van Beaumont werd het middelpunt van een briljante hofhouding. Karel spendeerde een groot deel van zijn fortuin aan de aankoop van schilderijen, manuscripten en oude munten. Tegelijk besteedde hij veel zorg aan het beheer van zijn domein, en werkte hij daartoe een reglementering uit die geïnspireerd was door deze van de landsheren van de Nederlanden.
Hij gaf aan de schilder Adrien de Montigny de opdracht voor de vermaarde Albums de Croÿ, waarvan de prachtige illustraties een mooi beeld geven van de Zuidelijke Nederlanden eind zestiende, begin zeventiende eeuw.
Huwelijk en opvolging
Na zijn terugkeer tot het katholieke geloof had Karel een scheiding van tafel en bed met zijn calvinistische vrouw Maria van Brimeu. Dit huwelijk bleef dan ook kinderloos. De toen heersende praktijk was dat een man de volledige controle had over het bezit van zijn vrouw. De Staten-Generaal van de Nederlanden gaven Maria van Brimeu echter de zeggenschap terug over haar eigen bezittingen, waarop Karel van Croÿ een reeks juridische procedures begon om zijn greep op haar bezit en titels te behouden. In 1586 deed hij een vergeefse poging zijn echtgenote te laten vergiftigen. Rond 1600 trof het echtpaar na jaren van juridische strijd en lange onderhandelingen een overeenkomst, zonder dat er sprake was van een echte verzoening. Maria van Brimeu voegde zich weer bij Van Croÿ maar gaf haar protestantse geloof niet op. Na haar overlijden op 18 april 1605 hertrouwde hij acht maanden later met zijn nicht Dorothea van Croÿ, dochter van zijn oom Karel Filips van Croÿ, markies van Havré. Ook dit huwelijk bleef zonder nakomelingen.
De memoires van Karel van Croÿ werden in 1845 voor het eerst uitgegeven door baron Frédéric de Reiffenberg, onder de titel L'existence d'un grand seigneur au seizième siècle: mémoires autographes du duc Charles de Croy.