Secrétaire général de la Ligue Awami à partir de 1972, Zillur Rahman est élu au Parlement l'année suivante. En 1975, après l'assassinat du cheikh Mujibur Rahman, il est arrêté et passe quatre ans en prison. Il revient en politique en tant que ministre du gouvernement dirigé par Hasina Wajed entre 1996 et 2001[1].
Sa femme Ivy est tuée en août 2004 après avoir été mortellement blessée lors d'une attaque à la grenade contre un rassemblement de la Ligue Awami, au cours de laquelle une vingtaine d'autres personnes sont tuées[1].
Rahman dirige en second la Ligue Awami, lorsqu'il est élu président de la République le [1] et prend ses fonctions le lendemain.
Le , il est hospitalisé pour des problèmes respiratoires à Singapour, où il meurt dix jours plus tard dans l'exercice de ses fonctions[2].