Hermann Voss obtient son doctorat d'histoire de l'art en 1907 sous la direction de Henry Thode, avec une thèse sur le peintre autrichien Wolf Huber.
Il occupe ensuite différentes responsabilités muséales : il est directeur du département de dessins du musée des Beaux-Arts de Leipzig (1912-1921), puis directeur adjoint du musée Kaiser Friedrich à Berlin (1922-1935), avant de diriger les collections du Musée régional de Nassau à Wiesbaden (1935-1945).
L'une des tâches de Voss consiste à s'emparer des œuvres d'art dit « dégénéré » auprès de leurs propriétaires juifs, en les vendant à bas prix à l'étranger, afin d'acquérir des œuvres plus conformes à l'idéologie nazie. Il est l'un des principaux acteurs du système de saisies et de ventes forcées.
Voss est aussi l'un des artisans de la redécouverte de Georges de La Tour au XXe siècle.