Ulfstein cominciò la carriera con la maglia dello Hødd, per cui giocò dal 1988 al 1992. Si trasferì poi al Viking, per cui esordì nell'Eliteserien il 2 maggio 1993, quando fu titolare nel successo per 1-0 sul Lillestrøm.[1] Il 16 maggio successivo segnò la prima rete nella massima divisione norvegese, nel successo per 2-1 sul Tromsø.[2]
Passò poi al Brann, per cui debuttò il 13 aprile 1998, quando fu titolare nella sconfitta per 0-1 contro il Moss.[3] Il 7 giugno dello stesso anno, segnò la prima rete con questa maglia in occasione del pareggio per 2-2 contro lo Haugesund.[4] Rimase in squadra fino al termine del campionato 2004.
Nazionale
Ulfstein conta 19 presenze per la Norvegia under 21, con 2 reti all'attivo.[5] Giocò 2 partite anche per la Nazionale maggiore, prima delle quali in data 26 novembre 1995, quando fu titolare nel pareggio per 1-1 contro la Giamaica.[6]
