1939 wurde er in die American Academy of Arts and Sciences gewählt. Ein Jahr später, 1940, nach 15 Monaten Dienst im Second Circuit, verließ Patterson das Gericht und wechselte in das Kriegsministerium. Nach einigen Monaten als stellvertretender Kriegsminister beförderte ihn Präsident Roosevelt Ende 1940 in das neu geschaffene Amt des Vizekriegsministers (Under Secretary of War), das nach ihm auch nur noch Kenneth Claiborne Royall und William Henry Draper bekleideten. Präsident Harry S. Truman setzte ihn im September 1945 als Kriegsminister ein. Patterson verteidigte einen zusammengeschlossene Armee (Armee und Navy) und hatte deshalb nur einen einzigen Stabschef. Der erste Schritt dazu war der National Security Act von 1947, jedoch wurde dieser mehrere Male verbessert, zuletzt 1986 mit dem Goldwater-Nichols Act. Patterson beteiligte sich an der Aufhebung der Rassentrennung in den Armeetruppen, insbesondere während des letzten Abschnitts des Zweiten Weltkrieges in der Beziehung, dass er eine afroamerikanische Flugstaffel, ausgebildet in Tuskegee, schuf, die als Tuskegee Airmen bekannt wurde.
Patterson kehrte 1947 zu seiner Tätigkeit als Anwalt zurück. Truman bot ihm angeblich eine Wiedereinstellung in sein früheres Richteramt am Second Circuit an, jedoch lehnte er dieses ab und wählte die Rückkehr in die private Wirtschaft. Patterson war später Vorsitzender der New Yorker Anwaltskammer sowie des Council on Foreign Relations.
Er starb am 22. Januar 1952 bei einem Flugzeugunglück, als er einen Klienten treffen wollte, und wurde auf dem Nationalfriedhof Arlington beigesetzt. Sein 1923 geborener Sohn Robert wurde ebenfalls Bundesrichter im Southern District of New York.