Zimmermann war Sohn eines der Bürgermeister und Bauräte von Elbing (nicht weit von Danzig). Zuerst studierte er Kunstgeschichte an der Universität Königsberg, bestand die Feldmesserprüfung und war beim Bau der Preußischen Ostbahn tätig (vermutlich am Streckenabschnitt Bromberg–Thorn). 1854–1856 studierte Zimmermann an der Berliner Bauakademie, im Oktober 1856 schloss er sein Studium mit der Bauführerprüfung ab (gemeint ist wohl die Baumeisterprüfung). Zweimal in der Folge gewann er 1860 und 1861 den Schinkelpreis: 1860 fertigte er einen Entwurf für das Polytechnikum in Berlin und 1861 für ein Entwässerungssystem für Friedrichstadt/Berlin.[1] Ab 1862 arbeitete er bei der Ministerial- und Bau-Kommission in Berlin, wo er u. a. ein Gefängnis projektierte, das spätere Frauengefängnis Barnimstraße. Anschließend kam er 1864 nach Breslau, wo er im Mai dieses Jahres für die Leitung des Stadtbauamts gewählt wurde. Als Stadtbaurat teilte er sich diese Stelle vorerst mit Julius von Roux und ab 1866 mit Alexander Kaumann. Zimmermann war in Breslau für alle öffentliche Aufgaben der Stadt in Bereichen Hochbau, Stadtplanung und Leitungsnetze auf dem Stadtgebiet links der Oder zuständig – seine Amtskollegen übernahmen die Gebiete rechts der Oder. Seine Breslauer Schaffensphase ist sowohl durch Neogotik als auch Neorenaissance geprägt. Am 1. Januar 1872 legte er sein Amt nieder.
Zimmermann war 77 Jahre alt, als er als Leiter des Hamburger Hochbauwesens 1908 nach über 36 Dienstjahren um seine Versetzung in den Ruhestand bat. Er hatte viele neue bedeutende Schulgebäude sowie Verwaltungs- und Justizgebäude entworfen. An seinem ersten repräsentativen Staatsbau in Hamburg, dem Schul- und Museumsgebäude am Steintorplatz, heute Museum für Kunst und Gewerbe hatte er erstmals die Form der Vierflügelanlage realisiert. Es war der einzige Bau, für den er aus Sparsamkeitsgründen der Stadt Hamburg einen schwierigen Kompromiss zwischen Schulgebäude und Museumsgebäude finden musste. Das Strafjustizgebäude und das Ziviljustizgebäude, ebenfalls Vierflügelanlagen mit besonderen Herausforderungen und reichem Bauschmuck, waren seine größten und zugleich bedeutendsten Hamburger Staatsbauten.[2]
Als Nachfolger Zimmermanns im Amt des Baudirektors wurde 1908 Fritz Schumacher berufen, der dieses Amt nach einjähriger Vorbereitungszeit schließlich im Herbst 1909 antrat. Bereits in der Zeit der Jahrhundertwende hatte Zimmermann sich aus der aktiven Entwurfstätigkeit zurückgezogen und diese Aufgaben insbesondere dem 1901 ins Hamburger Hochbauwesen eingetretenen Albert Erbe übertragen, der schließlich nach Schumachers Amtsantritt 1911 nach Essen wechselte.
Mit 80 Jahren starb Zimmermann am 18. März 1911. Er wurde im Alten Krematorium in der Alsterdorfer Straße eingeäschert und auf dem Ohlsdorfer Friedhof hinter dem Rosengarten (Grablage J10, 255-56) bestattet. Das Grab wurde zwischenzeitlich aufgehoben.[3][4]
Das Architekturmuseum in Breslau zeigte 2005/2006 eine Ausstellung über das Werk Zimmermanns in Breslau: „Architekt im Dienste der Stadt“. Daria Pikulska verfasste den dazugehörigen Katalog.[5]
Ab 1865: Zuschüttung des Inneren Stadtgrabens, der sog. Stadt- oder Schwarzen Ohle (heutiger Verlauf der Ost-West-Straße) und Bau der Kanalisation in der Altstadt
Ab 1865: Salvatorkirche auf den Teichäckern, Entwürfe ab 1865, Ausführung 1871–1876 unter Aufsicht anderer Architekten (neugotisch, zerstört während des Zweiten Weltkriegs)
1865: Änderungen am Projekt des Wasserturms Am Weidendamm (ulica Na Grobli), Ursprungsentwurf von John Moore
1865: Pfarrhaus der Elisabethkirche
1865: Johannesgymnasium an der Paradiesstraße (1911–1912 von Fritz Behrendt erweitert; jetzt Maria-Dąbrowska-Gesamtschule für Wirtschaft und Verwaltung)
1865: Bau der evangelischen und katholischen Oberschulen am Nicolai-Stadtgraben (später mehrmals umgebaut, heutzutage das XII. Allgemeinbildende Lyzeum„Bolesław Chrobry“)
1866–1868: Umbau des Königsplatzes (heute plac Jana Pawła II – Platz des Johannes Paul II.) mit Abbau der Königsbrücke und Zuschüttung eines Teiles des Äußeren Stadtgrabens
1867: Entwurf des Städtischen Friedhofs I in Breslau-Gräbschen mit Kapelle, Gebeinhaus und Gärtnerhaus (heute Park Grabiszyński / Gräbschener Park, Bauten zerstört)
1869: Umbau und Aufstockung des St. Bernhard-Hospitals, des heutigen Breslauer Architekturmuseums „Muzeum Architektury we Wrocławiu“[7] (die meisten dieser Veränderungen wurden während des Zweiten Weltkrieges zerstört oder später beseitigt.)
1870: Volksschule Lehmgrubenstraße 30 (ulica Gliniana) (heute bildet die Zimmermann’sche Schule den Nord-West-Flügel, da das Gebäude später von Stadtbaurat Richard Plüddemann [Südflügel entlang der Straße, 1888–90] und vom Architekten Karl Klimm [Turnhalle, 1906–1907] erweitert wurde.)
1875–1876: Oberrealschule am Holstenglacis, mit Erweiterungen 1901/1903 (später Albrecht-Thaer-Gymnasium; heute Studienkolleg für ausländische Studierende und Abendschule vor dem Holstentor)[9]
Daria Dorota Pikulska: Carl Johann Christian Zimmermann. Muzeum Architektury we Wrocławiu, Wrocław 2005, ISBN 83-89262-21-5.
Dieter Schädel: Carl Johann Christian Zimmermann (1831–1911). 36 Jahre Leiter des Hamburger Hochbauamtes. In: Dieter Schädel (Hrsg.): Wie das Kunstwerk Hamburg entstand. Hamburg 2006, ISBN 3-937904-35-2.
Dieter Schädel: Auf den Spuren von C. J. Christian Zimmermann in Hamburg. Hamburger Baudirektor der Gründerzeit von 1872–1908. Drei Architekturrundgänge zu Bauten von C. J. Chr. Zimmermann. Hrsg. von der Hamburger Feuerkasse in Zusammenarbeit mit dem Fritz-Schumacher-Institut an der HfBK. Hamburg 2004.