Olsen iniziò la carriera, a livello giovanile, con le maglie di Gjellerasen e Vålerenga. Tornò poi al Gjelleråsen, per cui giocò finché non passò allo Strømsgodset. In questa squadra, debuttò nella Tippeligaen: il 13 aprile 1997 fu infatti schierato titolare nella vittoria per 4-0 sullo Skeid.[1] La prima marcatura nella massima divisione norvegese fu datata 20 aprile dello stesso anno, nel successo per 2-0 contro il Molde.[2] Sempre nel 1997, giocò la finale dell'edizione stagionale della Coppa di Norvegia, persa per 4-2 contro il Vålerenga.[3] Rimase in squadra fino al 2004, quando firmò per lo Aalesund.
Esordì per questo club il 22 agosto, in un match di 1. divisjon contro il Mandalskameratene, perso per 3-2.[4] Contribuì alla promozione del club nella Tippeligaen e segnò la prima rete con questa maglia il 16 aprile 2005, nella vittoria per 2-1 contro l'Odd Grenland.[5] Al termine del campionato 2008, lo Aalesund non gli rinnovò il contratto. Olsen pensò inizialmente a ritirarsi, ma poi firmò per l'Herd assieme all'ex compagno di squadra Karl Oskar Fjørtoft.[6][7]
Nel corso del 2010, firmò per il Mjøndalen. Rimase senza contratto al termine del campionato 2011. Nel 2012 giocò ancora allo Herd, per passare allo Spjelkavik l'anno seguente.[8]
Il 1º dicembre 2017 è stato nominato nuovo allenatore dell'Averøykameratene.[9]
