Анатолій Папанов народився 31 жовтня 1922 року у Вязьмі. Батько — військовик Дмитро Пилипович Папанов (1897—1982), росіянин; мати — полька Олена Болеславівна Росковська (1901—1973), модистка, католичка, таємно прийняла православну віру.
Батько майбутнього актора брав участь у театральній самодіяльності: грав у трупі, організатором якої був Микола Сергійович Плотников, а керівником — колишня акторка імператорських театрів Лучезарська (дружина командира вяземського гарнізону). Як згадував Анатолій Дмитрович, Лучезарська виділяла акторські здібності його батька. До цього часу і належать перші появи юного Папанова на сцені, його (як і сестру), вводили до спектаклю, якщо за сюжетом там були потрібні діти.
У 1930 році разом з батьками він переїхав до Москви, де родина оселилася на вулиці Малі Кочки (нині вулиця Доватора), працював у ремонтних майстернях 2-го Московського заводу кулькових вальниць (ливарником), одночасно навчався в популярній театральній студії при заводі «Каучук». Цим напівпрофесійним театральним колективом керували в той час актори Театру ім. Вахтангова на чолі з Василем Кузою — його Анатолій Папанов і вважав за свого першого вчителя.
У 1937 році уперше знявся в кіно, зігравши епізодичну роль у фільмі «Ленін у Жовтні».
З перших днів війни перебував на фронті. Був старшим сержантом, командував взводом зенітної артилерії. У червні 1942 року зазнав важкого поранення під Харковом: вибухом йому сильно понівечено праву ногу й відірвало на ній два пальці. Папанов шість місяців провів у шпиталі і в 21 рік став інвалідом третьої групи, перші кілька років змушений був ходити з паличкою. Повернувшись до Москви, вступив на акторський факультет ГІТІСу, у майстерню артистів МХАТу Марії Орлової та Василя Орлова. Успішно склав державні іспити 11 листопада 1946 року, зігравши молодого Костянтина в «Дітях Ванюшина» Сергія Найдьонова і старого в комедії Тірсо де Моліни «Дон Хіль — Зелені Штани».
Після ГІТІСа Папанова запросили і у МХАТ, і в Малий театр, але він разом зі всім курсом їде в Клайпеду, створювати новий театр.
З 1946 року був актором Клайпедського російського драматичного театру, де його першою роллю став Сергій Тюленін у спектаклі «Молода гвардія» за однойменним романом Олександра Фадєєва.
У 1948 році за пропозицією режисера Андрія Гончарова Папанов переходить у Театр Сатири в Москві. Загалом у цьому театрі Анатолій Дмитрович за 40 років створить 50 образів. Деякі з вистав були записані для телебачення, зокрема «Ревізор», «Гніздо глухаря», «Маленькі комедії великого будинку» з музикою Давида Тухманова.
Кіноглядачі різних поколінь захоплюються творчим дуетом кіноакторів Анатолія Папанова й Андрія Миронова в кінофільмах «Бережись автомобіля», «Діамантова рука», серіалі «Дванадцять стільців».
Усього Анатолій Дмитрович брав участь у створенні понад сімдесяти кінострічок, включаючи озвучування мультфільмів, як, наприклад, Вовк з мультсеріалу «Ну, постривай!» або Молодильні яблука. Викладав у ГІТІСі, випустив диск як виконавець пісень.
За рік до смерті як режисер Папанов поставив спектакль «Останні» за однойменною п'єсою Максима Горького. Будучи віруючою людиною, він дуже хотів завершити постановку молитвою. Щоб уникнути можливих заборон, Папанов знайшов радіозапис молитви у виконанні Федора Шаляпіна і вставив її у фінал.
Остання роль Папанова в театрі — Гіце в спектаклі «Руда кобила з дзвіночками» Театру Сатири. Остання кінороль — «Холодне літо п'ятдесят третього…».
Анатолій Папанов помер 5 серпня 1987 року на 65-му році життя, повернувшись додому зі зйомок картини. У цей час проходило планове відключення гарячої води. Страждаючи від серцево-судинної недостатності, він, тим не менш, вирішив прийняти холодний душ і помер прямо у ванній від серцевого нападу.
Похований у Москві на Новодівичому кладовищі (ділянка № 10). У 1992 році на могилі встановлено пам'ятник (скульптор Д. Й. Народицький, архітектор Ю. М. Воскресенський).
Ім'я Папанова присвоєно небесному тілу — малій планеті (астероїда) № 2480.
У «Волзькому пароплавстві» в порядку надання компаніям-туроператорам експлуатується річковий круїзний трипалубний теплохід «Анатолій Папанов» (колишній «Костянтин Ціолковський»), побудований за радянським проектом 588 «Батьківщина» в НДР у 1950-х роках.
У 1991 році на будинку, де у 1967—1987 роках жив Папанов (Москва, вул. Спірідоновка, д. 8), встановлено меморіальну дошку (архітектор С. П. Хаджібаронов).
30 жовтня 2012 року на батьківщині актора, у Вязьмі, йому був встановлений пам'ятник (скульптор І. Чумаков).