Po wstąpieniu do wojska Ramon służył w lotnictwie, dosłużył się stopnia kapitana. Następnie studiował prawo na uniwersytecie w Tel Awiwie. Wstąpił do Partii Pracy, gdy tylko skończył służbę wojskową, był sekretarzem skrzydła młodzieżowego partii od 1978 do 1989. Był deputowanym do Knesetu od wyborów w 1981 członkiem różnych komisji, przewodniczącym komisji finansów od 1988 do 1992.
W 1992 Ramon został ministrem zdrowia w rządzieIcchaka Rabina. Wkrótce potem popadł w konflikt z premierem, który w sprawach ekonomicznych „skręcił” w prawo, zrezygnował ze stanowiska w 1994. Został przewodniczącym związku zawodowego Histadrut, z poparciem Amira Pereca. Wrócił do rządu po zabójstwie Rabina, będąc ministrem spraw wewnętrznych w rządzieSzimona Peresa od 1995 do 1996.
Partia Pracy wróciła do władzy w 1999 pod przywództwem Ehuda Baraka, a Ramon został szefem kancelarii premiera. Został ministrem spraw wewnętrznych po raz drugi w 2000, pełniąc te stanowisko do upadku rządu Baraka w 2001. Sprzeciwiał się pomysłom Baraka, aby utworzyć koalicję z Arielem Szaronem, i nie uczestniczył w porozumieniu z Likudem stworzonym przez Szarona i następcę Baraka, Binjamina Ben Eli’ezera. Ramon ubiegał się o przywództwo w Partii Pracy w listopadzie 2002, przegrywając z Amramem Micną. Jednakże, po rozłamie dokonanym w Likudzie przez Szarona, przyłączył się do nowo utworzonej przez niego centrowej partii, Kadimy. Był pierwszym politykiem z Partii Pracy, który przyłączył się do tego ugrupowania. 4 maja 2006 roku został ministrem sprawiedliwości w rządzieEhuda Olmerta.
W czasie konfliktu izraelsko-libańskiego w 2006 roku okazał się być najbardziej „jastrzębim” (tj. opowiadającym się za rozwiązaniami siłowymi) z członków gabinetu. 27 lipca 2006 roku powiedział, iż
Tego samego dnia izraelski prokurator generalny Menachem Mazuz, po siedmiogodzinnym przesłuchaniu Ramona, zalecił mu ażeby nie podejmował ważkich decyzji podczas kierowania ministerstwem sprawiedliwości (takich jak np. mianowanie sędziów) z powodu rozpoczęcia się dochodzenia przeciwko niemu, pod zarzutem molestowania seksualnego. Ramon zareagował słowami
Jestem pewny swojej niewinności. Sąd tego dowiedzie[2].
18 sierpnia 2006 roku Ramon zrezygnował ze stanowiska ministra sprawiedliwości w rządzieEhuda Olmerta.
↑Bush-Blair call for international force The Christian Science Monitor – 28 lipca 2006. „Pan Ramon powiedział na posiedzeniu gabinetu premiera Ehuda Olmerta ‘Każdy w południowym Libanie jest terrorystą i jest związany z Hezbollahem. Naszą wielką przewagą w starciu vis-a-vis z Hezbollahem jest nasza siła ognia, nie walka wręcz.’”