Название XVII века, дано по деревянной Церкви Ермолая Священномученика, что на Козьем болоте, построенной в Патриаршей слободе в 1610—1612 годах как моленная церковь патриарха Гермогена. Построенной церкви Патриарх Гермоген (в миру носивший имя Ермолай) дал имя своего небесного покровителя святого Ермолая — иерея Никомидийского, который жил при императоре Диоклетиане и во время самых жестоких римских гонений на христианство продолжал проповедовать о Христе и обращать в истинную веру язычников. В 1682 году повелением Патриарха Иоакима была выстроена каменная Ермолаевская церковь — тогда Патриаршая слобода на Козихе переживала свой расцвет. Со времен святителя Гермогена его моленная церковь так и оставалась патриаршим храмом, а потом стала обыкновенным приходским в этом густонаселённом районе. В 1929 году церковь была закрыта, а в 1932 году снесена. Церковь находилась на месте небольшого бульвара между домами № 21 и 23, выстроенными в 1950-х гг.
История
В 1961 году в честь знаменитого советского архитектора И. В. Жолтовского переулок был переименован в улицу Жолтовского. Переулок получил имя И. В. Жолтовского, так как архитектор состоял в Московском архитектурном обществе, часто бывая в здании № 17 по Ермолаевскому переулку, в котором Общество располагалось.
В 1993 году переулку возвращено его историческое название.
№ 9 — Жилой дом Генерального штаба Вооружённых сил СССР (с воротами и скульптурным завершением пилонов) (1939—1940; 1945—1946, архитекторы М. М. Дзисько, Н. И. Гайгаров, мастерская И. В. Жолтовского), выявленный объект культурного наследия[1]. Построен как резиденция высших военачальников. Квартиры, общее количество которых в трехэтажном доме составляло всего шесть, даже для нашего времени были роскошными: 6 комнат, огромный холл, обязательные гостиная и передняя, помещения под кабинет и детскую, спальни и комнаты под хознужды. Здесь жил Е. И. Смирнов[4].
№ 15/44 — дом «Патриарх» (2002, архитектор С. Б. Ткаченко, дизайнер вестибюля — Ж. Гарсия) — 12-этажный дом с башенкой, декорированный на верхних ярусах скульптурными композициями.
№ 4 — Доходный дом (1909, архитектор А. Н. Кардо-Сысоев)
№ 6 — Доходный дом (1905, архитектор О. Г. Пиотрович). С 80-х годов XX века и до конца жизни здесь жила Валентина Толкунова (1946-2010).
№ 10/7 — Доходный дом М. А. Светловой (1910—1911, архитектор Э.-Р. К. Нирнзее; 1938—1940 е гг.). Здесь в 1928—1930 годах в квартире № 2 жил учёный, патологоанатом А. И. Абрикосов[1].
№ 22/26 — Нежилой дом (1955). 20 декабря 2015 года на фасаде дома была установлена мемориальная табличка «Последний адрес» инженера-механика Бориса Николаевича Зимина[8].
№ 28/15 — дом архитектора Ф. О. Шехтеля (1896). В постройке особняка участвовал ученик Ф. О. Шехтеля архитектор В. Д. Адамович. Объект культурного наследия федерального значения[1]. В настоящее время — посольство республики Уругвай