L'Arminia Hannover viene fondato nel 1910, e dieci anni dopo conquista il titolo della Germania settentrionale. Partecipa in questi primi anni di vita alla fase nazionale per tre volte, l'ultima delle quali nella stagione 1932-1933; in questa occasione raggiunge sotto la guida di William Townley i quarti di finale, dove viene fermato dai futuri campioni del Fortuna Düsseldorf. Questo è però l'ultimo campionato prima della riforma voluta dal Terzo Reich: il club si ritrova subito dopo a giocare nella Gauliga Niedersachsen.
Nel dopoguerra l'Arminia viene inserita nell'Oberliga Nord, da dove retrocede nel 1957; sono stati però in rosa in questo periodo Josef Posipal e Werner Olk. Nel 1963 nasce in Germania Ovest la Bundesliga, campionato al quale il club non riesce però a qualificarsi. Viene invece ammesso ad uno dei gironi della seconda serie, la Regionalliga Nord, che vince nel 1967 e nel 1968: la promozione in Bundesliga sfugge però ai play-off.
Il club accede poi, dopo una breve parentesi in terza divisione, alla Zweite Bundesliganel 1976. Qui disputa quattro stagioni consecutive, insieme peraltro ai concittadini dell'Hannover e l'ultimo anno anche dell'OSV, che però sono sempre terminate nella metà inferiore della graduatoria. La retrocessione arriva al termine del campionato 1979-1980, quando oltretutto l'Arminia subisce contro l'omonima squadra di Bielefeld la più pesante sconfitta in assoluto del torneo[1], un 11-0[2].
Il club trascorre il resto degli anni ottanta in terza divisione, dove rimane stabilmente fino al 1991. In seguito il club disputa anche diverse stagioni al quarto livello; a partire dal 2007 alterna invece periodi al quinto livello con altri al sesto.