Родился 4 февраля 1954 г. в Москве, в семье потомственных дипломатов.
В 1976 г. окончил факультет международных экономических отношений Московского государственного института международных отношений МИД СССР (ныне – МГИМО МИД России), в 1992 г. – Дипломатическую академию МИД СССР (ныне - Дипломатическая академия МИД России).
На дипломатической службе находился с 1976 г. Работал на различных должностях в центральном аппарате МИД СССР, МИД России и в загранпредставительствах.
В 1976-1981 и 1984-1990 гг. работал в посольстве СССР в Корейской Народно-Демократической Республике (КНДР), в частности, занимал должность первого секретаря посольства.
В 1992-1997 гг. был сотрудником посольства РФ в Республике Корея, генеральным консулом России в Сеуле.
В период с 2001 по 2006 гг. – чрезвычайный и полномочный посол России в КНДР.
С 2007-2008 гг. - заместитель директора, а с 26 января 2009 г. по 12 июля 2013 г. - директор Консульского департамента МИД России, член Коллегии МИД.
12 июля 2013 г. указом президента РФ Владимира Путина назначен Чрезвычайным и Полномочным Послом Российской Федерации в Турецкой Республике.
19 декабря 2016 г. был убит в результате покушения в Анкаре. Нападение было совершено во время церемонии открытия фотовыставки о России в Галерее современного искусства. По данным главы МВД Турции Сулеймана Сойлу, атаку совершил Мевлют Мерт Алтынташ (род. в 1994), уроженец турецкого г. Соке, выпускник полицейской академии Измира, в 2014-2016 гг. работавший в управлении спецназа полиции в Анкаре. По предварительной информации турецких СМИ, он мог быть связан с террористической организацией "Джебхат ан-Нусра" (запрещена в РФ). Официальный представитель МИД России Мария Захарова заявила, что РФ квалифицирует убийство посла России в Турции как теракт. Совет Безопасности ООН в своем заявлении также назвал убийство терактом, выразив соболезнования семье дипломата и российским властям.
В ноябре 2018 г. Прокуратура Анкары направила в суд обвинительное заключение по делу об убийстве российского посла. По нему проходило 28 обвиняемых, которых официальные турецкие власти назвали членами "террористической группировки фетхуллахистов" (т. е. сторонниками исламского деятеля Фетхуллаха Гюлена). Обвинение полагало, что теракт был "направлен на подрыв отношений Турции и России". Судебный процесс был начат в ноябре 2019 г. В марте 2021 г. суд приговорил пятерых человек к пожизненным заключениям, восемь - на сроки от 5 до 15 лет тюрьмы. Шестеро обвиняемых были оправданы. Дела беглых подсудимых были выделены в отдельное производство.
22 декабря 2016 г. Андрей Карлов был похоронен на Химкинском кладбище Москвы.
Чрезвычайный и полномочный посол (2011)
Герой РФ (посмертно; 2016).
Отмечен благодарностью президента РФ (2011).
Владел корейским и английским языками.
Был женат. Супруга - Марина Михайловна. Сын Геннадий, выпускник МГИМО МИД России, атташе посольства РФ в Пхеньяне.