По окончании этих работ вернулся в Петербург, где ему было поручено составление проекта углубления петергофской гавани и перестройку пристани под ней. За этот проект в 1863 году Мерц был возведён в звание инженера-архитектора[2][3]. В качестве помощника инженера Г. Е. Паукера принимал участие в постройке лесов у Александровской колонны. В 1859—1861 годах в качестве помощника архитектора Э. Г. Шуберского принимал участие в разработке проекта и сооружении водонапорной башни на Шпалерной улице, которая строилась для обеспечения работы первого в Санкт-Петербурге централизованного водопровода. При этом на время производства работ Мерц жил на месте строительства[2]. Участие в этом проекте создало архитектору имя в профессиональной среде[4].
В 1862 году на полтора года отправился в путешествие по Европе для изучения лучших образцов зодчества. По возвращении в Россию в 1863 году поступил на службу в хозяйственно-строительный комитет при Санкт-Петербургской городской думе и был назначен архитектором I строительного участка. Во время работы в этой должности разработал проект мощения улиц по выпуклому профилю (чтобы на них не застаивалась вода)[5]. В 1867 году совместно с М. А. Макаровым составил проект крытого рынка на Сенной площади[6][7].
В 1871 по проекту Мерца на Манежной площади построен первый в Санкт-Петербурге общественный туалет, затем по этому же проекту были построены ещё пять[8]. Автор образцовых проектов казарм[9]. Занимался также частной практикой и построил большое количество домов в Петербурге[6].
Кроме архитектурной деятельности принимал участие в различных промышленных предприятиях. Был одним из учредителей василеостровского общества водопроводов (все постройки этого общества спроектированы Мерцем). Также участвовал в учреждении общества обработки строительных материалов и первый в Петербурге устроил гофмановскую, беспрерывно-действующую, кирпиче-обжигательную печь[10][11]. Под его же непосредственным наблюдением произведена большая часть заводских построек этого общества. В последние годы жизни был архитектором при екатерининском институте, при тульском банке и участвовал в комиссии, наблюдавшей за перестройкой Европейской гостиницы[6].
Архитектору и его семье принадлежали два доходных дома на Пушкинской улице в Санкт-Петербурге: № 16, построенный по собственному проекту в 1875—1876 годах, и № 17 (наследники архитектора продали его купцу И. Афанасьеву)[13].
Барановский Г. В.Мерц, Иван Александрович // Юбилейный сборник сведений о деятельности бывших воспитанников Института гражданских инженеров (Строительного училища). 1842—1892. — СПб.: Типо-Литография Н. Л. Пентковского, 1893. — С. 218—220.
Архитекторы-строители Санкт-Петербурга середины XIX — начала XX века: справочник / Сост. А. М. Гинзбург, Б. М. Кириков при участии С. Г. Фёдорова, Е. В. Филиппова; под. общ. ред. Б. М. Кирикова. — СПб.: Пилигрим, 1996. — С. 213—214. — 400 с. — ISBN 5-900989-01-1.