Stanowisko to zostało utworzone 12 września 1789 roku, podczas prezydentury George’a Washingtona. Sekretarz wojny stał na czele Departamentu Wojny. Początkowo odpowiadał za wszystkie siły zbrojne Stanów Zjednoczonych. W 1798 roku utworzono nowe stanowisko sekretarza marynarki wojennej, wyjmując siły morskie z kompetencji sekretarza wojny. W 1947 roku oba departamenty zostały połączone w Departament Obrony Stanów Zjednoczonych.