Andrei Karlow schloss 1976 ein Studium am Staatlichen Moskauer Institut für Internationale Beziehungen ab und war von 1979 bis 1984 sowie erneut von 1986 bis 1991 an der sowjetischen Botschaft in Nordkorea tätig. Nachdem er 1992 die Diplomatenakademie des russischen Außenministeriums absolviert hatte, war er von 1992 bis 1997 an der russischen Botschaft in Südkorea tätig. Von 2001 bis 2006 war er Botschafter in Nordkorea. Ab 2007 arbeitete er in der Konsularabteilung des russischen Außenministeriums und wurde 2009 Direktor dieser Abteilung. Im Juli 2013 wurde er Botschafter in der Türkei.
Am 19. Dezember 2016 wurde auf Karlow bei einer Ansprache zur Eröffnung einer Fotoausstellung in der Halle Çağdaş Sanatlar Merkezi im Ankaraer Stadtteil Çankaya ein Attentat verübt. Er wurde angeschossen, schwer verletzt und erlag kurze Zeit später seinen Verletzungen. Der Attentäter Mevlüt Mert Altıntaş, ein türkischer Polizeibeamter, wurde kurz nach der Tat von anderen Polizeikräften erschossen.
Im Februar 2017 wurde ein Foto von Burhan Ozbilici als Pressefoto des Jahres 2016 ausgezeichnet. Es zeigt den Attentäter und im Hintergrund den leblosen Körper von Karlow.[3]