Von Gonzenbach gab sein Grossratsmandat auf, verlegte seinen Wohnsitz in den Kanton Bern und erwarb das Landgut Aarwyl in Muri bei Bern. In der Folge war er bei zahlreichen historischen Ereignissen mit der Ausarbeitung der wichtigsten Protokolle und Aktenstücke der Eidgenossenschaft betraut, beispielsweise während des Züriputsches von 1839, des Aargauer Klosterstreits von 1841 und den Auseinandersetzungen um den Sonderbund ab 1845. Während dieser Zeit veröffentlichte von Gonzenbach mehrere historische und handelsrechtliche Abhandlungen, in denen er sich als Anhänger des Freihandels zu erkennen gab. Aufgrund seiner konservativen Gesinnung geriet er zunehmend unter Druck der radikalliberalen Tagsatzungsgesandten und wurde im Juni 1847 nicht wiedergewählt.
1850 wurde von Gonzenbach in den Berner Grossen Rat gewählt, dem er bis 1874 angehörte. Im Kantonsparlament galt er als einer der führenden Vertreter der Konservativen. 1851 verfasste er den Untersuchungsbericht der Kommissionsmehrheit zur «Schatzgeldaffäre». Darin kam er entgegen der Meinung der radikalen Kommissionsminderheit zum Schluss, der Berner Staatsschatz sei 1798 tatsächlich von den Franzosen und nicht von den Patriziern entwendet worden. Im Militär hatte von Gonzenbach zuletzt den Rang eines Oberstleutnants, später amtierte er als Oberauditor.
Von Gonzenbach hatte bei den ersten Nationalratswahlen im Oktober 1848 erfolglos im Kanton St. Gallen kandidiert, ebenso drei Jahre später. Bei einer Nachwahl im Januar 1852 im Wahlkreis Bern-Mittelland gelang ihm schliesslich der Einzug in den Nationalrat. Bei den Nationalratswahlen 1860 verlor er sein Mandat, im Februar 1866 gewann er erneut eine Nachwahl in Bern-Mittelland. Er sprach sich für den Eisenbahnbau durch private Gesellschaften aus, ebenso für die Rechtsvereinheitlichung. Obwohl er selbst reformiert war, stellte er sich während des Kulturkampfs auf die Seite der Katholisch-Konservativen. Als er 1875 von Papst Pius IX. zu einer Audienz empfangen wurde, sorgte dies für viel Aufsehen, bei den Wahlen im Oktober desselben Jahres verlor er sein Mandat endgültig.
Von Gonzenbach widmete sich daraufhin verstärkt historischen Studien und war von 1876 bis 1882 Präsident des Historischen Vereins des Kantons Bern. Besondere Aufmerksamkeit erfuhr seine 1880 erschienene Biografie über General Johann Ludwig von Erlach.
Werke
Darstellung der Handelsverhältnisse zwischen der Schweiz und Frankreich im Jahre 1840 (1842) Google Digitalisat
Ueber die Handelsverhältnisses zwischen der Schweiz und den deutschen Zollvereinsstaaten während des Jahres 1840, Luzern 1845 Google Digitalisat
Ueber die englische Tarifreform (1846)
Darstellung der Handelsverhältnisse zwischen der Schweiz und Oesterreich in den Jahren 1840 und 1845 (1847) Google Digitalisat
Beiträge zur Erklärung der Einverleibung eines Theils von Savoyen in die schweizerische Neutralität (1859)
Die schweizerische Abordnung an den Friedenscongreß in Münster und Osnabrück (1879)
Der General Hans Ludwig von Erlach von Castelen, ein Lebens- und Charakterbild aus den Zeiten des dreißigjährigen Krieges (1880)
Ueber die Nechtsbeständigkeit des Schiedsrichterspruches von Lausanne vom 30. October 1564 (1886)
Literatur
Helge Dvorak: Biographisches Lexikon der Deutschen Burschenschaft. Band I: Politiker, Teilband 7: Supplement A–K, Winter, Heidelberg 2013, ISBN 978-3-8253-6050-4. S. 387–389.