Освободившись из американского плена, он вернулся на родину и в 1947 году поступил на службу в Немецкую народную полицию (ДВП). Он работал музыкантом и аранжировщиком полицейского оркестра государственной полиции земли Мекленбург-Передняя Померания, созданного Альбрехтом Штерном в начале 1948 года, и одновременно изучал композицию и дирижирование.
В 1953 году был назначен главным дирижёром Шверинского полицейского оркестра.[3] С 1954 года он руководил духовым оркестром Лейпцигского радио, из которого возникла Саксонская духовая филармония.
По рекомендации друга (а позже заместителя) Эрнста Рембаха поступил на службу в Центральный оркестр ННА ГДР в августе 1959 года. В оркестре он трудился как аранжировщик, композитор, дирижёр и преподаватель музыки. Испытав сильное влияние Ганса Феликса Хузаделя, Бауман был поклонником симфонической духовой музыки[4] Под влиянием Баумана в военных маршах ГДР появились элементы джазовой музыки (в этом плане он пошёл дальше Хузаделя, который лишь экспериментировал с необычными для военного оркестра инструментами и размерами).
В 13-ю годовщину ННА 1 марта 1969 года ему было присвоено звание полковника.[5] 4 октября 1973 года министр культуры ГДРХанс-Йоахим Хоффман назначил его на должность Генерального музыкального директора .[6] В 1981 году он составил сценарий Генеральной церемонии (Grosser Zapfenstreich) Национальной народной армии. 18 ноября 1983 года уволен с действительной военной службы, а в качестве нового руководителя Центрального оркестра ННА его сменил Хайнц Хекер .[7] При этом Бауман оставался постоянным приглашённым дирижёром духового оркестра Лейпцига.