Szabó Mihály református lelkész és Tószegi Zsuzsánna fia. 1833–42 között Debrecenben tanult; ezután Késmárkra ment jogot hallgatni, és itt Hunfalvy Pál vezetése alatt különösen érdeklődése a görög klasszikus írók felé fordult, az ifjúság körében alakult magyar nyelvgyakorló társaságnak is tagja lett. 1843 júniusában kitűnővel tette le jogi vizsgáit; ezután még egy évig Késmárkon joggyakornok, egy évig mint királyi táblai hites jegyző Pozsonyban volt. 1845-ben köz- és váltóügyvédi oklevelet szerzett, ilyen gyakorlatot azonban nem folytatott.
1846-ban Fiuméba ment azzal a szándékkal, hogy tengerész lesz, és a tengerészeti tanfolyam első évfolyamát el is végezte. Ekkor súlyos betegségbe esett, és hazatért szüleihez. Itt teljesen felépülve, 1847 tavaszán Toldy Ferenc meghívására Pestre utazott, és segített neki a Magyar Tudósok Tára című irodalmi vállalkozásában, amely végül kéziratban maradt. Kritikái jelentek meg a szintén részben Toldy által szerkesztett Magyar Szépirodalmi Szemlében. E vállalkozás célja volt az összes magyar író életrajzát és munkáik jegyzékét kiadni. 1848 végéig Toldynál lakott, és mintegy nyolc kötetnyi életrajzot írt, a kézirat a H betűig terjedt. Az év első felében Békés városa tiszti ügyészének választotta; de e hivatalt nem fogadta el, hanem a szabadságharc kitörésekor belépett a Békés vármegyei önkéntes nemzetőrök szabadcsapatába, és a bánáti táborozás alatt több csatában részt vett, így 1849. április-májusban az Aradot ostromló seregben a főhadnagyságig vitte, és néhány hónapig Okolicsány őrnagynak a segédtisztje volt. Különösen kitüntette magát Szenttamás ostrománál, ahol 40 nemzetőrrel lőszert szállított egy honvédszázadnak.
A szabadságharc leverése után egy ideig szülőföldjén húzódott meg; 1850 elején a Teleki-levéltárat rendezte, és április 25-én Geringer báró, saját kérelmére, az egyetemi könyvtárhoz felvette fizetés nélküli gyakornoknak. Közben Toldy Teleki József grófhoz, a Hunyadiak kora rendezéséhez ajánlotta, így az ő közreműködésével jelent meg a mű öt kötete. A gróf halála után (1855) szintén ő rendezett a hátralévő anyagból még négy kötetet sajtó alá; mellékesen régi magyar történeti forrástanulmányokkal és kutatásokkal is foglalkozott. Az év szeptemberében meghívták a nagykőrösi református gimnáziumba, a görög nyelv tanárának. Itt tanított akkor Arany János, Salamon Ferenc, Szilágyi Sándor, akiknek társasága történeti irányú irodalmi működésére még inkább buzdítólag hatott.
1858. december 15-én a Magyar Tudományos Akadémia levelező tagjává választotta (1871. május 17-én lett rendes tag). 1859. november 25-én az Erdélyi Múzeum-Egyesület alakuló közgyűlése megválasztotta könyvtárnokává. Ekkor Kolozsvárra költözött, és ettől kezdve kutatásait a régi magyar bibliográfiára is kiterjesztette. Könyvtárnoksága mellett a tanári pályával se szakított, előbb a református kollégiumban a görög nyelvet tanította, 1873-tól kezdve pedig a kolozsvári egyetemre a magyar történeti tanszékre nevezték ki. Az 1882–83-as tanévben az egyetem rektora is volt. Sírja a Házsongárdi temetőben található.
Művei
Euripidész válogatott színművei. Iphigenia Auliszban és Iphigenia Tauriszban. Pest, 1849 (Kisfaludy Társaság Hellen Könyvtára V., VI.)
Attila. Történeti kor- és jellemrajz. Thierry Amadetól, ford. francziából. Pest, 1855
Oidipusz király. Szophoklész színműve, görögből. Kecskemét, 1857 (A nagykőrösi helv. hitv. gymn. programjában is)
Székely oklevéltár. (1211–1519.). Kiadta a m. tört. társ. kolozsvári bizottsága. Kolozsvár, 1872, 1876, két kötet
Péter és Aba. Székfoglaló értekezés. Pest, 1872 (Értekezések a tört. tud. köréből II. 3.)
Apáczai Csere János Barcsai Ákos fejedelemhez benyujtott terve a magyar hazában felállítandó első tudományos egyetem ügyében. Pest, 1872 (Értekezések a nyelv- és széptud. köréből III. 2.)
Az erdélyi múzeumi könyvtár többszörös példányainak jegyzéke. Kolozsvár, 1873
Kritobulosz: II. Mehemet élete. A. Magyar Tudományos Akadémia tört. bizottsága által kiadott görög szöveget ford. Budapest, 1875 (Monumenta Hung. Historica II. osztály. Irók XXII.)
Szilágyi Ferencz emlékezete. Olvastatott a Magyar Tudományos Akadémia 1878. máj. 27. ülésében. Budapest, 1878
Régi magyar könyvtár. I. Az 1531-től 1711-ig megjelent magyar nyomtatványok könyvészeti kézikönyve. Budapest, 1879. II. Az 1473–1711-ig megjelent nem magyar nyelvű hazai nyomtatványok jegyzéke. Uo. 1885. III. és IV. kötet: A magyar szerzőktől külföldön 1480-tól 1711-ig megjelent nem magyar nyelvű nyomtatványok könyvészeti kézikönyve. Írták Szabó Károly és Hellebrant Árpád. Budapest, 1896, 1898 I.II.III.IV.
Királyi telepítvényesek-e a székelyek? Marosvásárhely, 1884
Gyulafi Lestár följegyzései 1565–1605. Marosvásárhely, 1881 (M. Történelmi Emlékek. II. oszt. Irók XXXI. kötet)
Kun László 1272–1290. Marosvásárhely, 1886 (M. Történeti Életrajzok II. évf. 4. 5. füzet) Online
Schilling Lajos: Szabó Károly emlékezete; Ajtai Ny., Kolozsvár, 1892
Szádeczky Lajos: Szabó Károly emlékezete. 1824–1890; Athenaeum Ny., Bp., 1894
Szilágyi Sándor: Emlékbeszéd Szabó Károly r. tag felett; Akadémia, Bp., 1896 (A Magyar Tudományos Akadémia elhunyt tagjai fölött tartott emlékbeszédek)
Szabó Károly-emlékkönyv; szerk. Szőnyi Éva; OSZK–Gondolat–MKE, Bp., 2020 (Nemzeti téka)
.svg){kind=small}
