El club va ser fundat l'any 1920 amb el nom Kaufmännischer SK Klagenfurt.[1] L'any 1927 adoptà el nom SK Austria Klagenfurt. Disputà la lliga de Kärnten fins que l'any 1960 ascendí a la lliga regional central. La temporada 1961-62 es proclamà campió d'aquest campionat. Ascendí a la primera divisió (Liga A), on hi romangué de manera intermitent fins al seu descens l'any 1989. La temporada 1992-93 el club disputava novament la Kärntner Liga.[2]
Retornà a la lliga regional central l'any 1996, però el club no tenia la potència suficient per ascendir a la Bundesliga. Per aquest motiu els clubs de la Caríntia decidiren unir esforços. El SK Austria i el Villacher SV, de la veïna ciutat de Villach iniciaren una fase de col·laboració. El 1997 s'uniren sota el nom FC Austria/VSV, club que ascendí a la Erste Liga. El 1999 es fusionaren definitivament sota el nom de FC Kärnten.
L'any 2001 guanyà la Copa d'Àustria i la Supercopa, a més de ser campió de la Segona Divisió i ascendir a la Bundesliga. Arribà novament a la final de la Copa el 2003, essent derrotat aquest cop pel FK Austria Wien. El FC Kärnten jugà tres temporades a la Bundesliga fins al seu descens l'any 2004.
L'any 2007 es fundà el rival ciutadà SK Austria Kärnten, el qual entrà a la Bundesliga ocupant el lloc de l'ASKÖ Pasching, recentment desaparegut. Aquest fet afavorí que el FC Kärnten declinés. La temporada 2007-08 baixà a la lliga regional. El 21 de gener de 2009 cessà les seves activitats. Un nou club, el SV Austria Klagenfurt fou creat l'any 2007 com a continuador.[3]