La sua carriera inizia nel TV Aschaffenburg. Nel 1972 si trasferisce al Viktoria Aschaffenburg, altra squadra locale. Dal 1974 al 1976 milita nel Saarbrücken, all'epoca nella Zweite Bundesliga, prima di trasferirsi all'Amburgo in Bundesliga.[1] Nella squadra anseatica trascorre l'intera carriera agonistica, giocando come centrocampista, dal debutto nel 1976 al ritiro dall'attività nel 1986. Segna 46 gol in 306 partite con la maglia amburghese nel massimo campionato tedesco.
Da allenatore guida l'Amburgo, il Werder Brema, il Norimberga che guida alla promozione in Bundesliga, l'Eintracht Francoforte, lo Stoccarda che guida al secondo posto nella Bundesliga 2002-2003, il Bayern Monaco e il Wolfsburg, portandolo alla vittoria del campionato tedesco per la prima volta nella sua storia. Il 23 maggio 2009, nel corso dei festeggiamenti per la vittoria del titolo, il presidente del gruppo Volkswagen, azionista di maggioranza del Wolfsburg, annuncia l'arrivo di Armin Veh al posto di Magath sulla panchina del club campione di Germania.
Il 1º luglio dello stesso anno Magath viene ingaggiato dallo Schalke 04 ma, nonostante i buoni risultati ottenuti in Champions e in Coppa Nazionale, il 16 marzo 2011 la squadra di Gelsenkirchen rende noto il suo esonero[2]. La settimana seguente torna al Wolfsburg.
Riesce a salvare dalla retrocessione il club sassone e la stagione successiva lo guida a un buon ottavo posto in classifica, a distanza di quattro punti dall'Hannover qualificato per l'Europa League. Il 29 maggio 2012, a fronte di un buon progetto di rilancio della squadra, viene confermato sulla panchina dei biancoverdi; tuttavia il successivo 25 ottobre viene esonerato dopo aver ottenuto solo quattro punti nelle prime otto gare di Bundesliga.
Il 15 febbraio 2014 viene ingaggiato dal Fulham, al penultimo posto in Premier League, divenendo così il primo allenatore tedesco nella massima divisione inglese. A fine stagione i Cottagers retrocedono in Championship e il 18 settembre 2014, a causa degli scarsi risultati dei londinesi nelle prime sette partite di campionato (sei sconfitte e un pareggio), viene sollevato dal suo incarico. Nel 2016 porta i cinesi dello Shandong Luneng alla salvezza in campionato; l'anno seguente arriva sesto, prima di lasciare il club il 1º dicembre 2017.
Il 13 marzo 2022, a distanza di dieci anni, torna a sedersi sulla panchina di un club di Bundesliga venendo ingaggiato dall'Hertha Berlino, a seguito dell'esonero di Tayfun Korkut. Traghetta il club berlinese alla salvezza, ottenuta vincendo il decisivo retour match dello spareggio interdivisionale contro, ironia della sua sorte, la sua ex squadra dell'Amburgo[3].
Statistiche
Statistiche da allenatore
Statistiche aggiornate al 4 novembre 2017. In grassetto le competizioni vinte.