По возвращении на родину, Г. Бергман в 1771 году получил место пастора в Арраше, близ Вендена, в 1780 году перешёл пастором в Салисбург, а в 1785 году — в Руйен[4].
В 1807 году Бергман был определён асессором в лифляндскую обер-консисторию. вскоре он получил приглашение занять место пастора Аннинской церкви, в Санкт-Петербурге, но отказался[4].
На должности сельского пастора, вращаясь преимущественно среди крестьянского населения, Бергман обратил внимание на значительную смертность крестьянских детей от оспы и занялся «оспопрививанием». В течение тридцати лет им сделано около 12 тысяч прививок, по особому, им самим изобретенному способу, который был рассмотрен и одобрен Медицинскою коллегией. За труды по оспопрививанию Бергман получил в 1802 году золотую медаль, с надписью: «За полезное»[4].
В 1806 году Бергман был избран почетным членом Московского общество испытателей природы. В бытность в Руйене, Бергман имел свою типографию, в которой напечатал много книг, ставших библиографической редкостью уже в начале XIX века. Подробный перечень этих книг приведён в словаре Напирского; там же указан перечень и собственных сочинений Бергмана, посвященных истории Лифляндии и летскому языку[11]. После Бергмана остался в рукописи исправленный им словарь летского языка[4].
В 1787 году Бергман был возведён в дворянское Римской империи достоинство[4].
Густав фон Бергман скончался 14 июня 1823 года в городе Руйиена (ныне Латвия)[4].