У 1975 став начальником військового училища у Батні, а у 1981 — начальником військової академії. Потім Зеруаль командував військами Таманрассетського ВО (1982), на марокканському кордоні (1984), у Константіні (1987).
З 1989 — командувач сухопутними військами. Через розбіжності з президентом Шадлі Бенджедідом з питання реорганізації армії вийшов у відставку (1990) та деякий час був послом у Румунії. Однак після скидання Бенджедіда військовими у січні 1992 перед ним відкрились нові перспективи.