Des Weiteren war Kaufman Mitglied der Cherut, die 1973 zusammen mit anderen Parteien eine gemeinsame Wahlliste mit dem Likud bildete. Bei den Wahlen zur achten Knesset am 31. Dezember 1973 verfehlte er den Einzug in die Knesset, rückte aber am 19. Januar 1977 für den aus der Knesset ausgeschiedenen Benjamin Halevi nach[1] und blieb auch nach den Wahlen für die neunten Knesset im Mai 1977 Parlamentsmitglied. Auch bei den Wahlen zur zehnten (30. Juni 1981) und elften Knesset (23. Juli 1984) war Kaufman erfolgreich. Unter Premierminister Menachem Begin wurde er in der 19. Regierung am 28. August 1981 zum stellvertretenden Finanzminister ernannt, ein Amt, dass er auch während der gesamten 20. Regierung unter Ministerpräsident Jitzchak Schamir vom 10. Oktober 1983 bis zum 13. September 1984 ausübte.
Obwohl er bei den Wahlen 1988 sein Mandat verlor, kehrte Kaufman am 8. Oktober 1990 als Abgeordneter in die Knesset als Ersatz für Zalman Shoval zurück.[2] Bei den Wahlen 1992 wurde er bestätigt, aber verstarb in seinem Amt am 7. August 1995. Sein Platz in der Knesset wurde von Josef Achimeir eingenommen.[3]