Walter Annenberg war der einzige Sohn des Ehepaares Moses „Moe“ und der in New York City geborenen Sarah „Sadie“ Cecelia Annenberg, geborene Friedman, (1879–1965).[1] Vater Moses Annenberg stammte aus Ostpreußen und wanderte um die Jahrhundertwende nach Chicago aus. Später verdiente er im Zeitungswesen ein Vermögen, wurde 1940 wegen Steuerhinterziehung angeklagt und verurteilt. Zwei Jahre verbrachte er im Gefängnis und starb kurz nach seiner Entlassung.
Auch Walter Annenberg, der in der Firma seines Vaters tätig war, wurde als möglicher Mitwisser angeklagt. Seine Unschuld stellte sich aber bald heraus. Nach dem Tod seines Vaters erbte er die Lokalzeitungen The Philadelphia Inquirer und den Daily Racing Form. In den folgenden Jahren kaufte er auch andere Printmedien sowie Radio- und Fernsehstationen. Sein größter Erfolg war die Gründung und Herausgabe der Fernsehzeitschrift TV Guide (1953).
Walter Annenberg heiratete 1938 Veronica „Ronnie“ Dunkelman, ihre Ehe wurde nach zwölf Jahren geschieden. Aus der Verbindung gingen zwei Kinder, Roger und Wallis, hervor. Sein Sohn Roger, Student an der Harvard University, starb am 7. August 1962 an den Folgen eines Suizids durch Schlaftabletten. Im Jahr 1951 heiratete er Leonore „Lee“ Rosenstiel (1918–2009), eine Nichte von Harry Cohn, den Gründer und Präsidenten von Columbia Pictures. Sie brachte zwei Töchter, Diane und Elizabeth, mit in die Ehe.
Walter Annenberg starb 2002 im Alter von 94 Jahren an den Folgen einer Lungenentzündung.
Seine Villa "Sunnylands" in Rancho Mirage/Kalifornien, wo er seit 1966 einen Sommersitz hatte, wurde von vielen Prominenten wie den US-Präsidenten Richard Nixon, Gerald Ford, Ronald Reagan, George Bush, Bill Clinton und George W. Bush besucht. Ebenso von Margaret Thatcher und Königin Elisabeth II. Aber auch Schauspielgrößen wie Bing Crosby, Bob Hope, Gregory Peck, James Stewart und Frank Sinatra waren dort zu Gast. Seit 2012 ist die Villa für die Öffentlichkeit zugänglich.[4]