Карлов родился 4 февраля 1954 в Москве. Он окончил факультет международных экономических отношений МГИМО МИД СССР, затем – Дипломатическую академию МИД России. Владел корейским и английским языками.
С 1976 года Карлов работал на различных должностях в Центральном аппарате МИД, а также за границей. В 2001 году он вступил в должность чрезвычайного и полномочного посла России в КНДР, проработав там до декабря 2006 года.
До 2009 года Карлов работал заместителем директора Консульского департамента МИД России, после чего занял должность директора департамента.
12 июля 2013 года Карлов был назначен чрезвычайным и полномочным послом РФ в Турции.
Убийство Карлова прокомментировал ряд российских и зарубежных политиков. В частности, официальный представитель генерального секретаря ООН Стефан Дюжаррик заявил, что убийству посла России в Турции «не может быть оправдания».
Первый заместитель председателя ДУМ РТ Рустам Батров от лица управления выразил соболезнования родным и близким погибшего.