Wzniesiona w 1895 i poświęcona 9 maja tego samego roku ze środków zebranych na terytorium Rosji w czasie kolekty zorganizowanej przez proboszcza parafii przy ambasadzie rosyjskiej w Wiedniu, ks. Michaiła Rajewskiego, w celu wzniesienia wolno stojącej świątyni prawosławnej w stolicy Austrii. Pierwotnie zebrane pieniądze miały służyć budowie monumentalnej cerkwi w centrum miasta, jednak śmierć inicjatora zbiórki zahamowała ją i zgromadzona suma pozwoliła jedynie na jej spożytkowanie na budowę znacznie mniejszej niż planowana świątyni cmentarnej.
Główną świątynią społeczności rosyjskiej w Wiedniu cerkiew św. Łazarza była jednak tylko przez cztery lata, gdyż w 1899 zbudowany został sobór św. Mikołaja. Świątynia cmentarna stała się cerkwią pomocniczą.
W latach 2004–2006 obiekt został gruntownie odremontowany. 12 października 2006 miało miejsce jego ponowne poświęcenie.