Walter John Jeremy Summers wurde 1931 als Sohn von Dora (geborene Bird), einer Schauspielerin, und Walter Summers, einem Filmregisseur und Drehbuchautor, geboren, der eine Brücke zwischen der Stummfilm- und der Tonära schlug und dessen eigener Vater Bühnenpantomimen schrieb. Die ältere Schwester von Jeremy Summers, Jill, wurde Maskenbildnerin bei der BBC. Seine Eltern trennten sich, als er 16 Jahre alt war, so verließ Summers die Bedford School und nahm eine Tätigkeit in den Elstree Studios an. Dort arbeitete er sich zum Regieassistenten bei Filmen wie Mai 1943 – Die Zerstörung der Talsperren (1955) und Moby Dick (1956) hoch.