Ervin nahm in der Folge seine juristische Tätigkeit wieder auf. Von 1948 bis 1954 gehörte er dem North Carolina Supreme Court als Richter an, ehe er als Senator in den Kongress zurückkehrte. Am 5. Juni 1954 wurde er zum Nachfolger des verstorbenen Clyde R. Hoey ernannt; er gewann auch die fällige Nachwahl im November desselben Jahres. Danach wurde Ervin noch drei weitere Male in seinem Mandat bestätigt, das er damit bis zu seinem Rücktritt am 31. Dezember 1974 ausüben konnte. Während dieser Zeit erlangte er einen Ruf als liberaler Senator, der sich für die Einhaltung der Bürgerrechte und den Schutz der Privatsphäre einsetzte. Bereits 1954 war er Mitglied des McCarthy-Ausschusses. Er war 1956 einer von 19 Südstaatensenatoren, die das Southern Manifesto unterzeichneten, ein Dokument gegen die Rassenintegration an öffentlichen Einrichtungen und die Gleichberechtigung von Schwarzen. Zum Ende von Ervins Senatoren-Karriere wurde er 1973 zum Vorsitzenden des Ausschusses zur Untersuchung der Watergate-Affäre ernannt. Dieser wurde auch „Ervin-Ausschuss“ genannt. Der Ausschuss leistete die erforderliche Aufklärungsarbeit über die Watergate-Affäre, die zum Rücktritt von PräsidentRichard Nixon und der Verurteilung seiner Helfershelfer zu Haftstrafen führte.
Als Vorsitzender des Watergate-Untersuchungsausschusses erwarb sich Ervin durch seine Integrität und Fairness hohes Ansehen, auch und gerade in jenen Kreisen, die ihm politisch nicht nahestanden:
„Inmitten all des Schmutzes, den Watergate an die Oberfläche gespült hat, wirkt Sam Ervin wie eine einsame Insel der Sauberkeit und Glaubwürdigkeit. Daß er seinem ganzen Habitus nach eigentlich dem vergangenen Jahrhundert angehört, stört seine Bewunderer nicht. Ganz im Gegenteil: Sein altmodisches Gebaren, seine Geradlinigkeit, sein Zorn, sein Humor, ja sogar sein hohes Alter – das alles scheint sich in dieser Situation als ein besonders imponierendes Tugendregister zu entpuppen. [...] Es sind diese altväterlichen Tugenden, die Sam Ervin zum Idol gemacht haben.[1]“
Nach seinem Ausscheiden aus dem Kongress betätigte Sam Ervin sich wieder als Anwalt sowie auf literarischem Gebiet. Er starb am 23. April 1985 und hinterließ seine Frau, zwei Töchter, einen Sohn sowie sieben Enkelkinder.