В браке с первой женой Хаей Рудой Чарной у Авраама Иордехая Альтера родилось восемь детей. Его старший сын раввин Меир Альтер, который был знатоком Торы и известным бизнесменом, погиб во время Холокоста вместе со своей семьёй в концентрационном лагере Треблинка. Второй сын раввин Ицхак Альтер умер в 1934 году в Польше. В 1922 году Хая Руда Чарная умерла и Авраам Мордехай Альтер женился на своей племяннице Фейге Мише Бидерман, которая в 1926 году родила мальчика Пинхаса Менахема Альтера, ставшего впоследствии шестым цадиком династии Гер.
Авраам Мордехай Альтер принял непосредственное участие в организации партии Агудат Исраэль и участвовал в съездах этой партии в 1923, 1929 и 1937 годах.
В 1924 году Авраам Мордехай Альтер вместе со своим братом Ицхаком, раввином Хиршем Левином и цадиком из хасидской коцкой династии Ицхаком Зелигом Моргенштерном посетил Палестину.
После начала Второй мировой войны Аврааму Мордехаю Альтеру удалось бежать с некоторыми своими детьми из оккупированной Польши. В 1940 году он прибыл через Италию в Палестину, где стал заниматься восстановлением хасидской династии.