В мае 1936 года назначен начальником Управления начальника работ Белорусского особого военного округа. Боевое крещение получил на строительстве укрепленного района в районе Пуховичи, Осиповичи, Лапичи, где в середине тридцатых годов возводились мощнейшие оборонительные сооружения: объекты для размещения трёх корпусов, кавалерийской бригады, аэродромы для военной авиации, которые, по мысли тогдашних отечественных стратегов, должны были защитить страну от вторжения с запада. В 1937 году состоялись учения, в ходе которых был отмечен умелый труд военных строителей.
В 1938 году переведен в Москву на должность начальника Управления работ № 6, а позже и № 8 Военно-строительного управления Москвы, где он занимался строительством объектов в соответствии с Постановлением Совета народных комиссаров СССР № 72 о строительстве объектов связи для всех видов сил и Генерального штаба в районе Ватутинок в Подмосковье.
После окончания войны назначен начальником Строительного управления в Прибалтийский военный округ (город Рига). В 1947 году назначается в Центральное управление Главвоенстроя и вскоре становится начальником Строительного управления Московского военного округа. В округе строилось большое количество объектов для войск округа и авиации.
В 1950 году в звании полковника назначается начальником строительства аэродрома «Внуково», где под его руководством осуществлено строительство комплекса, необходимого для обслуживания аэродрома, включая «слепую» посадку самолётов. В марте 1952 года назначен заместителем командующего войсками Прибалтийского военного округа. Работа, начатая в 1945 году, была продолжена: объекты для размещения войск, объекты для расквартирования войск.
В июне 1956 года назначен в Центральный аппарат Главвоенстроя Министерства обороны СССР. В 1958 году переведен на должность заместителя командующего войсками Воронежского военного округа, а в январе 1960 года — начальником Военно-строительного управления Москвы. В последние годы своей службы, с 1979 года возглавлял Государственную экспертизу и инспекцию Министерства обороны СССР, где А. Г. Караогланов занимался важнейшими государственными и военными делами.