Ein Jahr später schied er aus der Armee aus und wurde zum Gouverneur von Victoria ernannt. Nachdem der Generalgouverneur von Australien, Viscount Dunrossil, 1961 plötzlich starb, übernahm er zusätzlich dessen Amtsgeschäfte, bis nach sieben Monaten ein Nachfolger gefunden war. Aufgrund seiner Beliebtheit wurde seine Amtszeit insgesamt drei Mal verlängert. Als Freimaurer betätigte sich Brooks von 1951 bis 1963 als Großmeister in der Vereinigten Großloge von Victoria. Er starb am 22. März 1966 im Melbourner Stadtteil Frankston an einem Arterienverschluss. Brooks hinterließ eine Frau und eine Tochter.
Der Melbourner Stadtteil Dallas ist heute nach ihm benannt.