Родился 31 мая 1960 г. в г. Загорске (ныне г. Сергиев Посад) Московской области.
В 1982 г. окончил исторический факультет Московского государственного университета им. М. В. Ломоносова (кафедра южных и западных славян).
Во время учебы в университете в течение года был комиссаром комсомольского оперативного отряда МГУ. Командиром отряда был будущий депутат Госдумы РФ Константин Затулин.
С 1982 по 1996 г. Алексей Громов работал в центральном аппарате Министерства иностранных дел (МИД) СССР и РФ, а также занимал дипломатические должности за рубежом.
В 1982-1985 гг. - секретарь генерального консульства СССР в г. Карловы Вары, Чехословацкая ССР (ЧССР; ныне Чехия).
В 1985-1988 гг. - старший референт, атташе посольства Советского Союза в ЧССР.
С 1988 по 1991 г. - третий, затем второй секретарь секретариата заместителя министра иностранных дел СССР.
В 1991-1992 гг. - первый секретарь общего секретариата МИД СССР, затем РФ.
В 1992-1993 гг. - консул генерального консульства РФ в г. Братиславе, Словакия.
В 1993-1996 гг. - советник посольства РФ в Словакии. Послом в Словакии в этот период был Сергей Ястржембский, с августа 1996 г. ставший пресс-секретарем президента РФ Бориса Ельцина, а с марта 1997 г. совмещавший эту должность с постом заместителя руководителя Администрации главы государства.
В 1996 г. Алексей Громов перешел на работу в Администрацию президента РФ. С 21 ноября 1996 г. по 4 марта 1998 г. занимал должность руководителя пресс-службы президента РФ. Сменил на этом посту Игоря Игнатьева.
С 4 марта 1998 г. по 4 января 2000 г. возглавлял Управление пресс-службы президента РФ Бориса Ельцина.
С 4 января 2000 г. по 12 мая 2008 г. - пресс-секретарь президента РФ Владимира Путина. Повторно назначался 4 июня 2000 г. и 26 марта 2004 г. Сменил на этом посту Дмитрия Якушкина.
С июня 2000 г. по сентябрь 2011 г. входил в совет директоров Общественного российского телевидения (ОРТ; с 2002 г. – Первый канал).
В 2005 г. по инициативе Алексея Громова и советника президента РФ Михаила Лесина был создан российский круглосуточный англоязычный телеканал Russia Today (ныне - RT).
12 мая 2008 г. Алексей Громов был назначен заместителем руководителя Администрации президента РФ Дмитрия Медведева, курировал управление пресс-службы и информации главы государства (в 2008-2011 гг. администрацию возглавлял Сергей Нарышкин, в 2011-2016 гг. - Сергей Иванов). Сохранил пост после избрания и вступления в должность президента РФ 7 мая 2012 г. Владимира Путина.
С 21 мая 2012 г. - первый заместитель руководителя Администрации президента РФ Владимира Путина (переназначен 13 июня 2018 г.). Курирует работу со СМИ, в частности с федеральными телеканалами, радиостанциями, информагентствами. Пост главы администрации до августа 2016 г. занимал Сергей Иванов, затем его сменил Антон Вайно.
Входит в состав Правительственной комиссии по развитию производства и распространения отечественного аудиовизуального контента (с декабря 2020 г.).
Член попечительского совета Русского географического общества.
Был членом Правительственной комиссии по развитию телерадиовещания (2006-2020).
Действительный государственный советник РФ I класса (1997).
Четырежды отмечен благодарностью президента РФ (1998, 2007, 2010, 2011).
Имеет орден Почета (Южная Осетия, 2009).
Награжден орденом Благоверного князя Александра Невского II степени Русской православной церкви (2025).
Владеет чешским, словацким и английским языками.