El club va ser fundat el 13 de maig de 1903 per treballadors de la fàbrica Carl Zeiss AG amb el nom de Fussball-Club der Firma Carl Zeiss. Canvià de nom el 1911 a Fussball Club Carl Zeiss Jena e.V. i el 1917 a 1. Sportverein Jena e.V.
El 1933, s'uní a la Gauliga Mitte on fou campió el 1935, 1936, 1940, i 1941.
Després de la II Guerra Mundial el club es reconstruí i canvià de nom sovint: 1946 SG Ernst Abbe Jena i posteriorment SG Stadion Jena (octubre 1948), SG Carl Zeiss Jena (març 1949), BSG Mechanik Jena (gener 1951), BSG Motor Jena (maig 1951), i SC Motor Jena (novembre 1954) i FC Carl Zeiss Jena el gener de 1966. Fou finalista de la Recopa d'Europa de futbol el 1981.