Oprócz stanowisk liniowych na okrętach, Mullen służył również w administracji swojej macierzystej uczelni w Annapolis oraz w Pentagonie. W tym ostatnim początkowo związany był z Biurem Personelu Marynarki Wojennej, a następnie znalazł się w zespole Departamentu Obrony ds. testów operacyjnych. Później trafił do Dowództwa Operacyjnego Marynarki Wojennej, gdzie zajmował kilka stanowisk, dochodząc w sierpniu 2003 do szczebla zastępcy dowódcy operacyjnego. Jesienią 2004 został skierowany do Neapolu, gdzie objął dowództwo operacyjne sił NATO w basenie Morza Śródziemnego, na Bałkanach i w Iraku. Równolegle zajmował też stanowisko regionalnego dowódcy Sił Marynarki Wojennej USA w Europie. W maju 2005 wrócił do Waszyngtonu, aby zostać Szefem Operacji Morskich (Chief of Naval Operations).
8 czerwca 2007 sekretarz obrony USA Robert Gates ogłosił, iż przedłoży prezydentowi USA kandydaturę Mullena na stanowisko Przewodniczącego Kolegium Połączonych Szefów Sztabów (Chairman of the Joint Chiefs of Staff)[1] – jest to najwyższe stanowisko, jakie może zajmować w USA żołnierz w służbie czynnej. George W. Bush oficjalnie zaakceptował tę kandydaturę 28 czerwca[2], a 3 sierpnia 2007 wymaganą prawem zgodę na tę nominację wyraził Senat Stanów Zjednoczonych[3]. Mullen został zaprzysiężony i objął urząd na dwuletnią kadencję w dniu 1 października 2007. W 2009 prezydent Barack Obama powierzył mu stanowisko Przewodniczącego na drugą (i zwyczajowo ostatnią) kadencję[4]. Pod koniec maja 2011 Obama ogłosił, iż następcą Mullena będzie gen. Martin Dempsey, dotychczasowy szef sztabu United States Army. Mullen zakończył swoją służbę jako Przewodniczący Kolegium, a także całą karierę wojskową, w dniu 30 września 2011. Następnie przeszedł na emeryturę.
Medal NATO za misje w byłej Jugosławii (NATO Medal for Former Yugoslavia, NATO)
Życie prywatne
Admirał Mullen jest żonaty z Deborą Mullen, z którą ma dwóch synów: Johna i Michaela juniora. Obaj poszli w ślady ojca i służą w US Navy, obecnie obaj w stopniu poruczników.