Родился 20 июля 1938 г. в Ленинграде (ныне - Санкт-Петербург) в семье Юрия Павловича Германа (1910-1967) и Татьяны Александровны Риттенберг (1904-1995). Отец - писатель и сценарист, лауреат Сталинской премии II степени (1948, за сценарий кинокартины "Пирогов"). Мать имела медицинское образование.
В годы Великой Отечественной войны Алексей Герман вместе с матерью и сестрой проживал в Архангельске и г. Полярном (Мурманская область). Отец в этот период работал военным корреспондентом на Северном флоте. В 1945 г. семья вернулась в Ленинград.
В школьные годы в качестве актера массовых сцен Алексей Герман принимал участие в постановках Ленинградского академического Большого драматического театра (БДТ) им. М. Горького (ныне - Российский государственный академический Большой драматический театр им. Г. А. Товстоногова, Санкт-Петербург).
В 1960 г. окончил режиссерский факультет Ленинградского театрального института им. А. Н. Островского (впоследствии - Ленинградский государственный институт театра, музыки и кинематографии, ныне - Российский государственный институт сценических искусств, Санкт-Петербург). Учился в мастерской Григория Козинцева.
В 1960 г. поставил в Смоленском драматическом театре детский спектакль-сказку "Мал, да удал". В 1961-1964 гг. работал режиссером-ассистентом в БДТ им. М. Горького.
Режиссерским дебютом Алексея Германа в кинематографе стала драма "Седьмой спутник" по повести Бориса Лавренева, поставленная в 1967 г. совместно с Григорием Ароновым.
Первая самостоятельная режиссерская работа Алексея Германа - военная драма "Проверка на дорогах", снятая в 1971 г. по мотивам документальной повести его отца "Операция "С новым годом!". Из-за позиции чиновников Государственного комитета по кинематографии, посчитавших, что в фильме некорректно отражены реалии партизанского сопротивления гитлеровским оккупантам, лента вышла на экраны лишь с началом перестройки, в 1985 г.
В 1977 г. состоялась премьера киноповести Алексея Германа "Двадцать дней без войны", поставленной по мотивам прозы Константина Симонова. Главные роли в картине исполнили Юрий Никулин и Людмила Гурченко.
В 1984 г. по произведениям своего отца режиссер снял драму "Мой друг Иван Лапшин". Образ главного героя - начальника уголовного розыска небольшого города Унчанска - воплотил Андрей Болтнев.
В 1998 г. на экраны вышла драма Алексея Германа "Хрусталев, машину!". Этот фильм, съемки которого шли семь лет, посвящен позднесталинскому периоду истории СССР.
Последней режиссерской работой Алексея Германа стала экранизация научно-фантастической повести Аркадия и Бориса Стругацких "Трудно быть богом". Работа над ней велась на протяжении 14 лет. Премьера состоялась на Римском международном кинофестивале 13 ноября 2013 г., уже после смерти режиссера.
Вместе с супругой, Светланой Кармалитой, Алексей Герман являлся автором сценариев двух своих последних фильмов, а также ряда кинокартин, снятых другими режиссерами. Среди них - "Садись рядом, Мишка!" (1977, режиссер Яков Базелян), "Торпедоносцы" (1983, Семен Аранович), "Сказание о храбром Хочбаре" (1986, Асхаб Абакаров и Михаил Ордовский), "Гибель Отрара" (1991, Ардак Амиркулов) и др.
В качестве актера снимался в фильмах "Рафферти" по роману Лайонела Уайта (1980, режиссер Семен Аранович), "Сергей Иванович уходит на пенсию" (1980, Соломон Шустер), "Личная жизнь директора" по мотивам романа Валерия Гейдеко (1981, Владимир Шредель), "Канувшее время" по мотивам романа Александра Бека "Новое назначение" (1989, Соломон Шустер), "Замок" по роману Франца Кафки (1994, Алексей Балабанов) и "Мания Жизели" (1995, Алексей Учитель).
С 1990 по 2013 г. являлся художественным руководителем Студии первого и экспериментального фильма.
В 1998-2013 гг. вместе со Светланой Кармалитой вел авторскую мастерскую на Высших курсах сценаристов и режиссеров (Москва).
В 2010-2011 гг. был президентом Санкт-Петербургского международного кинофорума.
Алексей Герман скончался 21 февраля 2013 г. на 75-м году жизни в Санкт-Петербурге. Похоронен 24 февраля 2013 г. на Богословском кладбище Санкт-Петербурга.
Заслуженный деятель искусств РСФСР (1988). Народный артист РФ (1998).
Был награжден орденами "За заслуги перед Отечеством" IV степени (1998) и Почета (2008).
Лауреат Государственной премии РСФСР им. братьев Васильевых (1987, за фильм "Мой друг Иван Лапшин") и Государственной премии СССР в области литературы, искусства и архитектуры (1988, за фильм "Проверка на дорогах").
Лауреат премии "Своя колея" им. В. С. Высоцкого (1998) и Царскосельской художественной премии (2003, 2012).
Обладатель российской кинопремии "Ника" в категории "Лучшая режиссерская работа" (2000, за фильм "Хрусталев, машину!"; 2015, за фильм "Трудно быть богом" - посмертно), а также специального приза данной кинопремии - "Честь и достоинство" (2009).
Фильмы Алексея Германа были отмечены различными наградами: "Двадцать дней без войны" - премией Жоржа Садуля (Франция, 1977), "Мой друг Иван Лапшин" - премией имени Эрнеста Артариа и призом "Бронзовый леопард" на кинофестивале в Локарно (Швейцария, 1986), "Хрусталев, машину!" и "Трудно быть богом" - кинопремией "Ника" в номинации "Лучший игровой фильм" (2000, 2015).
Супруга кинорежиссера – Светлана Кармалита (1940-2017), заслуженный деятель искусств РФ, киносценарист. Сын - Алексей (род. 1976) - кинорежиссер.