У 1952 році Рау став членом Загальнонімецької народної партії (нім.Gesamtdeutsche Volkspartei, GVP) — одним із засновників якої був колишній Федеральний міністр внутрішніх справ Густав Гайнеманн — і заразом став її районним головою у Вупперталі. У 1957 партія розпустилася і Рау став членом Соціал-демократичної партії Німеччини. У 1958 році був вибраний до парламенту землі Північний Рейн-Вестфалія, в якому він засідав до 1999. У 1968 Рау був вибраний у Федеральну президію СДПН. З вересня 1978 року — прем'єр-міністр землі Північний Рейн-Вестфалія, член президії СДПН. У 1987 році був вибраний в бундестаг, але від мандата відмовився.
Після того як він звільнив посаду прем'єр-міністр землі Північний Рейн-Вестфалія і почав готуватися прийти на зміну попередньому президенту Роману Герцогу, саме йому з його дипломатичним хистом вдалося помирити голову партії Оскара Лафонтена та кандидата в канцлери Герхарда Шрьодера, що й привело партію до перемоги на парламентських виборах у вересні 1998 року. Рау став першим повоєнним президентом, який розпочав свою діяльність не в Бонні, а в Берліні.
