Учился во 2-й Московской гимназии. В 1860 году окончил естественное отделение физико-математического факультета Московского университета. В июне того же года отправился за границу и провёл там почти два года, посетив многие страны Европы.
В 1862 году занялся предпринимательством и арендовал типографию в Лазаревском институте восточных языков. В 1863 году основал собственное предприятие. Позже, в 1866 году, открыл типографию, затем построил для неё новое здание (1872). В 1873 году открыл магазин «Детское воспитание» с книжным отделом, а также книжный склад и библиотеку для чтения. В 1892 году Анатолий Иванович преобразовал свою фирму в акционерное общество «Товарищество типографии А. И. Мамонтова» с паевым капиталом 300 тысяч рублей. В начале 1900-х годов его магазин располагался на Неглинной улице, 19; в 1905 году — на этой же улице в доме 13. Мамонтов выпускал художественную литературу, альбомы по искусству, книги для детей и простого народа. Одним из первых в России он перешел на изготовление иллюстраций типографским, а не литографским, способом.
Жена Мамонтова — Мария Александровна Мамонтова (в девичестве Лялина) — открыла при магазине «Детское воспитание» столярную художественную мастерскую, изделия которой, преимущественно куклы, продавались здесь же. Эта мастерская сотрудничала с мастерскими в Абрамцево, и совместно они впервые создали этнографические куклы в народных костюмах губерний и уездов Российской империи[3].
В 1898 году в мастерской магазина токарь В. П. Звёздочкин из Подольска выточил первую русскую многосоставную игрушку в виде крестьянской девочки в платке и переднике. Её расписал художник С. В. Малютин, сотрудничавший с издательством; кукла была названа Матрёной (впоследствии став «матрёшкой»). В 1900 году М. А. Мамонтова представила игрушку на Всемирной выставке в Париже, получив за неё бронзовую медаль и заказ на партию таких игрушек[3][4].
В доме Анатолия Мамонтова часто бывали художники В. Серов, В. Васнецов, М. Врубель, В. Поленов, И. Репин, сотрудничавшие с его издательством Мамонтова и написавшие портреты его дочерей[3].