После поражения Османской империи в Первой мировой войне, оккупации в 1919 году войсками стран Антанты и США и разделом территории в стране возникло сопротивление ведомое офицерством армии во главе с генералом Кемаль-пашой. К январю 1920 года в стране, по сути, сложилось двоевластие — султанское правительство в Стамбуле и оппозиция в восточной части Турции — Анатолии с центром в Анкаре. 23 апреля 1920 года Мустафа Кемаль созвал в Анкаре и возглавил новый парламент — Великое национальное собрание Турции. И уже 26 апреля Кемаль-паша обратился к Советской России с просьбой о помощи и с предложением установить дипломатические отношения и заключить военный союз[1].
2 июня 1920 года нарком иностранных дел РСФСРГ. В. Чичерин направил Мустафе Кемалю письмо с признанием Советской Россией независимости Турции и предложением немедленно установить дипломатические и консульские отношения. Также в письме сообщалось об отправке в Турцию представителя Советского правительства. Вскоре в Москву для переговоров о заключении договора о взаимопомощи прибыла турецкая делегация во главе с министром иностранных дел кемалистского правительства Бекир Сами-беем.
4 октября в Анкару прибыла российская дипломатическая миссия, выехавшая из Москвы 2 июля. Полномочным представителем правительства РСФСР в Анкаре был назначен Шалва Элиава, который, однако, не смог выехать в Анкару. Его временно заменил советник посольства Я. Я. Упмал-Ангарский. В день прибытия делегации посольство посетил Мустафа Кемаль.
7 ноября 1920 года состоялось церемония открытия советского посольства — единственного в то время иностранного дипломатического представительства в Анкаре.
29 ноября 1920 года Кемаль телеграфировал наркому по иностранным делам РСФСР Чичерину ответ на письмо от 2 июля. Таким образом в период со 2 июня по 29 ноября 1920 года были установлены дипломатические отношения Советской России и кемалистской Турции.
16 марта 1921 года кемалистская Турция заключила с большевистской Россией договор о дружбе и братстве, так называемый Московский договор. 20 июля 1921 года договор был ратифицирован ВЦИК, а 31 июля 1921 года — Великим национальным собранием Турции). 22 сентября 1921 года в Карсе состоялся обмен ратификационными грамотами.
Первое здание советского посольства (полпредства) было открыто в ноябре 1920 года в Анкаре в районе Саманпазары. Здание сгорело в 1922 году от поджога. После этого посольство было вынуждено размещаться во временном помещении.
7 ноября 1924 года на выделенном Ататюрком участке в микрорайоне Каваклыдере района Чанкая началось строительство нового каменного здания. Проект был выполнен Г. М. Людвигом[2][3], а строительством занимался Ювстрой (одно из отделений Госстроя)[4]. Строительство велось в 1924—1926 годах. Здание выходило фасадом на бульвар Ататюрка[англ.] (современный адрес: бульвар Ататюрка, 106).
В 1957 году правительством СССР был приобретен земельный участок в том же районе Чанкая, но немного южнее, на улице Каръягды. Проект в 1958 году выполнили архитекторы И. Е. Рожкин и В. В. Богданов[5]. Летом 1960 года на новом участке началось строительство комплекса зданий посольства СССР. В марте 1962 года строительство было закончено.
Прежнее здание в 1961 году здание было передано торговому представительству СССР. С баланса МИД СССР оно перешло на баланс Минвнешторга СССР. В 1960-е года здание было перестроено (ныне здания занимает Торговое представительство Российской Федерации в Турции)[6].
В январе 2017 года улица Каръягды (тур.Karyağdı Sokağı), на которой находится посольство, была переименована в улицу Андрея Карлова (тур.Andrey Karlov Sokağı), в память об А. Г. Карлове — российском после, застреленном в декабре 2016 года[7].