Durante la stagione 2012-2013 Niyungeko ha portato la squadra burundese dei Flambeau de l'Est al suo primo titolo nazionale[1].
Nel 2016 è stato nominato commissario tecnico del Burundi. Nel 2018 è riuscito nell'impresa storica di qualificare la propria nazionale per la Coppa d'Africa 2019: si tratta della prima qualificazione della formazione burundese alla competizione, ottenuta non perdendo alcuna partita delle eliminatorie, dove il Burundi ha estromesso il Gabon[2]. Nella fase finale del torneo la squadra ha chiuso con l'eliminazione nella fase a gironi.