Joseph Vilsmaier est né le à Munich. Jeune, il fréquenta un internat à proximité d'Augsbourg et acheva une formation technique chez les fabricants de caméra Arnold. Il étudia neuf ans au conservatoire de musique et fut membre d'un groupe de jazz. Après avoir été technicien, il fut premier assistant opérateur, puis en 1961 cadreur.