Issu d'une famille aristocratique française qui a émigré en Autriche pendant la Révolution française et qui a germanisé son nom original « Picot de Peccaduc », Heinrich von Herzogenberg a d'abord fréquenté une école de jésuites dans la ville de Feldkirch, puis est allé à Munich, Dresde et Graz.
Venu à Vienne, il a commencé des études de droit, de philosophie et de sciences politiques à l'Université de Vienne. Bientôt il s'est tourné vers la musique et a étudié la composition au conservatoire de Vienne dans la classe de Felix Otto Dessoff jusqu'en 1864. Il a commencé par être un admirateur de la musique de Wagner, mais l'étude de J. S. Bach a amené chez lui un profond attachement à la tradition classique et il est devenu un ardent admirateur de Brahms. En 1866, il a épousé Elisabeth von Stockhausen, qui a été une élève de Brahms pour le piano ; les lettres de Brahms échangées avec les Herzogenberg occupent une grande partie de sa correspondance.
Heinrich von Herzogenberg a vécu à Graz jusqu'en 1872, avant de s'installer à Leipzig, où il a été un des fondateurs, avec Philipp Spitta et Alfred Volkland, de la Bach-Verein, en 1874, société qui se proposait de faire revivre les cantates de Bach. Herzogenberg en a été le directeur artistique pendant dix ans. À cette époque, Ethel Smyth a été une de ses élèves en composition.
À partir de 1885, il a occupé le poste de professeur de composition à la Hochschule für Musik de Berlin. À ce titre, il a conseillé au jeune Ralph Vaughan Williams d'étudier avec Max Bruch. Heinrich von Herzogenberg est décédé subitement à Wiesbaden, âgé de 57 ans ; dans ses dernières années, il s'est déplacé dans un fauteuil roulant en raison d'une nécrose des articulations.
Quintette pour vents et piano, op. 43 en mi bémol majeur[8]
Quintette à cordes en ut mineur (2 violons, 2 altos, violoncelle), op. 77 (Leipzig: Rieter-Biedermann, 1892- date de composition et publication)[1],[3],[4],[9]
Trio avec piano en ut mineur, op. 24 (1875-6, publié en 1877 par Rieter-Biedermann) et en ré mineur, op. 36 (1882, publié en 1884 par Rieter-Biedermann) (les deux republiés par Carus-Verlag, 2001)
Trios à cordes, op. 27 no 1 en la (1879) et no 2 en fa[10]