Калитниківський цвинтар засновано у 1771 році за межами міста. У 1771 році, після епідемії чуми, всі поховання в межах міста були заборонені, і за Камер-Колезьким валом були засновані нові цвинтарі, з них зараз збереглися Рогозький, Введенський, Ваганьковський та Калитниківський.
У січні 1773 року на цвинтарі була збудована перша дерев'яна церква, яка згоріла. Нова, з боковим вівтарем Боголюбської Богоматері, була побудована в 1780 році. Ці цвинтарні церкви були дерев'яними. Існуюча кам'яна церква Ікони Божої Матері «Всіх скорботних Радість» була зведена за проектом архітектора Миколи Козловського у 1834-1838 роках, була перебудована в 1881 році архітектором В. І. Верігіним. У 1890-і роки оздоблення інтер'єру церкви (ризниця, іконостас) здійснені архітектором Іваном Барютіним. Огорожа цвинтаря споруджена за проектом архітектора Миколи Маркова.
До 1917 року на цвинтарі ховали в основному торгових людей та селян, а також окремих представників російської інтелігенції.
Назва походить від місцевості Калитники́. Згідно з поширеною легендою, князь Іван Калита заповів Крутицькому подвір'ю. Проте, в духівницях князя місцевості з такою назвою не зустрічається. Вперше ця назва зустрічається на плані 1688 року, де показана річка Калитенка, вона ж — Калитниківський струмок. Форма назви дозволяє припускати, що вона пішла від слова «калитники» — майстри, які робили шкіряні торбинки та калити (гаманці).
Нині цвинтар розділений на дві частини яром, складається з 30 ділянок і має площу 16,2 га.
Відомі особи, поховані на Калитниківському цвинтарі