Родился 25 апреля 1955 г. в Москве. Его отец - генерал-полковник Виктор Грушко (1930–2001) был заместителем (1989-1991), первым заместителем (1991) председателя Комитета государственной безопасности СССР.
В 1977 г. Александр Грушко окончил Московский государственный институт международных отношений МИД СССР (ныне - МГИМО МИД России).
С 1977 г. работал в системе МИД СССР, затем РФ, занимал различные дипломатические должности в центральном аппарате министерства и за рубежом. В частности, в 1977-1980 гг. работал в посольстве СССР в Нидерландах, в 1985-1990 гг. - в Бельгии.
В 1995-1996 гг. - начальник отдела в департаменте по вопросам безопасности и разоружения МИД России.
С 1996 по 2000 г. являлся главой делегации РФ по вопросам военной безопасности и контролю над вооружениями на Венских переговорных форумах, представителем РФ в Совместной консультативной группе по Договору об обычных вооруженных силах в Европе (ДОВСЕ) и Консультативной комиссии по открытому небу на Форуме ОБСЕ по сотрудничеству в области безопасности.
С 2001 по 2002 г. – заместитель директора департамента общеевропейского сотрудничества МИД России. С ноября 2002 г. по сентябрь 2005 г. - директор департамента общеевропейского сотрудничества.
С 6 сентября 2005 г. по 23 октября 2012 г. - заместитель министра иностранных дел РФ Сергея Лаврова, курировал вопросы общеевропейских и евро-атлантических организаций. С марта 2009 г. был заместителем председателя Межведомственной комиссии РФ по взаимодействию с НАТО и выполнению Основополагающего акта о взаимных отношениях, сотрудничестве и безопасности между Российской Федерацией и Организацией Североатлантического договора. С сентября 2009 г. занимал аналогичный пост в Межведомственной комиссии РФ по делам Совета Европы.
С 23 октября 2012 г. по 22 января 2018 г. - постоянный представитель Российской Федерации при Организации Североатлантического договора (НАТО) в Брюсселе. Сменил на этом посту Дмитрия Рогозина.
С 22 января 2018 г. - заместитель министра иностранных дел РФ Сергея Лаврова.
Имеет дипломатический ранг чрезвычайного и полномочного посла (2004).
Награжден орденами Дружбы (2000), Почета (2012), Александра Невского (2018), "За заслуги перед Отечеством" IV степени (2020), медалью ордена "За заслуги перед Отечеством" II степени (1996). Отмечен Почетной грамотой президента РФ (2015).
Владеет нидерландским, французским и английским языками.