Окончил Строгановское училище, в 1905—1907 работал техником на постройке трамвайных линий. Начиная с 1906 года вошёл в число московских архитекторов «второго плана» — проектировщиков доходных домов. Карьера Г. К. Олтаржевского достигла пика к 1913 году и прервалась с началом первой мировой войны. После революции, в 1920-х и 1930-х годах, выстроил ряд жилых домов в Москве; один из них — охраняемый памятник культурного наследия.
Жил в Москве в Голицынских палатах (Кривоколенный переулок, 10)[1]
Сын архитектора, Дмитрий Олтаржевский, был автором Южного входа ВСХВ.