Мюллер народився 7 серпня 1944 року в Докторській лікарні в Нью-Йоркському районі Мангеттен, був першою дитиною Еліс С. Трусдейл (1920–2007) і Роберта Свона Мюллера молодшого (1916–2007).[12][13] У нього є чотири молодші сестри: Сьюзен, Сандра, Джоан і Патрісія. Його батько був керівником DuPont, який служив офіцером ВМС на Атлантичному та Середземноморському театрах під час Другої світової війни. Його батько спеціалізувався на психології в Прінстонському університеті та грав у університетський лакрос.[14]
Мюллер має німецьке, англійське та шотландське походження. Його прадід по батьківській лінії, Гюстав А. Мюллер, був видатним лікарем у Піттсбурзі, чий власний батько, Август С. Е. Мюллер, іммігрував до Сполучених Штатів у 1855 році з провінції Померанія Королівства Пруссія (історична територія, територія якої включав землі, які зараз є частиною Польщі та північно-східний край Німеччини).[15] З боку матері він є правнуком директора залізниці Вільяма Трусдейла.[16]
Мюллер виріс у Прінстоні, штат Нью-Джерсі, де відвідував Прінстонську сільську денну школу, тепер відому як Прінстонська денна школа. Після того, як він закінчив восьмий клас, його родина переїхала до Філадельфії, а сам Мюллер навчався в школі Св. Павла в Конкорді, штат Нью-Гемпшир, де він був капітаном команд з футболу, хокею та лакросу та виграв медаль Гордона як найкращий спортсмен школи 1962 року.[17][18] Товаришем по команді з лакросу та однокласником у школі Св. Павла був майбутній сенатор і держсекретар штату Массачусетс Джон Керрі.[19]
