Родился 31 мая 1960 г. в г. Загорске (ныне г. Сергиев Посад) Московской области.
В 1982 г. окончил исторический факультет Московского государственного университета им. М. В. Ломоносова (кафедра южных и западных славян).
Во время учебы в университете в течение года был комиссаром комсомольского оперативного отряда МГУ. Командиром отряда был будущий депутат Госдумы РФ Константин Затулин.
С 1982 по 1996 г. Алексей Громов работал в центральном аппарате Министерства иностранных дел (МИД) СССР и РФ, а также занимал дипломатические должности за рубежом.
В 1982-1985 гг. - секретарь генерального консульства СССР в г. Карловы Вары, Чехословацкая ССР (ЧССР; ныне - Чехия).
В 1985-1988 гг. - старший референт, атташе посольства Советского Союза в ЧССР.
С 1988 по 1991 г. - третий, затем второй секретарь секретариата заместителя министра иностранных дел СССР.
В 1991-1992 гг. - первый секретарь общего секретариата МИД СССР, затем РФ.
В 1992-1993 гг. - консул генерального консульства РФ в г. Братиславе, Словакия.
В 1993-1996 гг. - советник посольства РФ в Словакии. Послом в Словакии в этот период был Сергей Ястржембский, с августа 1996 г. ставший пресс-секретарем президента РФ Бориса Ельцина, а с марта 1997 г. совмещавший эту должность с постом заместителя руководителя Администрации главы государства.
В 1996 г. Алексей Громов перешел на работу в Администрацию президента РФ. С 21 ноября 1996 г. по 4 марта 1998 г. занимал должность руководителя пресс-службы президента РФ. Сменил на этом посту Игоря Игнатьева.
С 4 марта 1998 г. по 4 января 2000 г. возглавлял Управление пресс-службы президента РФ Бориса Ельцина.
С 4 января 2000 г. по 12 мая 2008 г. - пресс-секретарь президента РФ Владимира Путина. Повторно назначался 4 июня 2000 г. и 26 марта 2004 г. Сменил на этом посту Дмитрия Якушкина.
С июня 2000 г. по сентябрь 2011 г. входил в совет директоров Общественного российского телевидения (ОРТ; с 2002 г. – Первый канал).
В 2005 г. по инициативе Алексея Громова и советника президента РФ Михаила Лесина был создан российский круглосуточный англоязычный телеканал Russia Today (ныне - RT), призванный способствовать формированию положительного образа России в мире.
12 мая 2008 г. Алексей Громов был назначен заместителем руководителя Администрации президента РФ Дмитрия Медведева, курировал управление пресс-службы и информации главы государства (в 2008-2011 гг. Администрацию возглавлял Сергей Нарышкин, в 2011-2016 гг. - Сергей Иванов). Сохранил пост после избрания и вступления в должность президента РФ 7 мая 2012 г. Владимира Путина.
С 21 мая 2012 г. - первый заместитель руководителя Администрации президента РФ Владимира Путина (переназначен 13 июня 2018 г.). Курирует работу со СМИ, в частности с федеральными телеканалами, радиостанциями, информагентствами. Пост главы Администрации до августа 2016 г. занимал Сергей Иванов, затем его сменил Антон Вайно.
Входит в состав Правительственной комиссии по развитию телерадиовещания (с мая 2006 г.).
Член попечительского совета Русского географического общества.
Действительный государственный советник РФ I класса (1997).
Четырежды отмечен благодарностью президента РФ (1998, 2007, 2010, 2011).
Имеет орден Почета (Южная Осетия, 2009).
Владеет чешским, словацким и английским языками.