Родился 17 июля 1945 г. в Москве. Его отец, Лев Самойлович Беймшлаг, был скрипачом. Мать, Александра Алексеевна Рыбникова, работала художником-оформителем.
Алексей Рыбников в детском возрасте освоил игру на пианино, в восемь лет написал несколько фортепианных пьес, в 11 лет - музыку для балета "Кот в сапогах".
В 1956-1962 гг. учился в Центральной музыкальной школе при Московской государственной консерватории им. П. И. Чайковского. В 1967 г. с отличием окончил Московскую консерваторию по классу композиции народного артиста СССР Арама Хачатуряна. Под его же руководством обучался в аспирантуре.
В 1969 г. Алексей Рыбников был принят в Союз композиторов СССР, после этого до 1975 г. преподавал в Московской консерватории на кафедре композиции.
Дебютировал фортепианной сонатой "Хороводы", написанной на первом курсе консерватории. Дипломной работой композитора был концерт-баллада для скрипки с оркестром. По окончании аспирантуры Рыбников написал Первую симфонию, в последующие годы создал еще пять симфоний, а также ряд произведений симфонической, хоровой и камерной музыки.
С середины 1960-х гг. Алексей Рыбников занимается написанием музыки к фильмам. Его первым опытом стало создание музыкального сопровождения к короткометражной картине Павла Арсенова "Лелька", вошедшей в киноальманах "Пробуждение" (1966). Рыбников - автор саундтреков к более чем к 100 фильмам, среди самых известных - "Остров сокровищ" (1971, режиссер Евгений Фридман), "Большое космическое путешествие" (1974, Валентин Селиванов), "Приключения Буратино" (1975, Леонид Нечаев), "Усатый нянь" (1977, Владимир Грамматиков), "Тот самый Мюнхгаузен" (1979, Марк Захаров), "Вам и не снилось..." (1980, Илья Фрэз), "Звезда" (2002, Николай Лебедев). В 1979 г. вступил в Союз кинематографистов СССР.
Широкую известность Алексею Рыбникову принесли написанные им рок-оперы "Звезда и смерть Хоакина Мурьеты" (на слова Павла Грушко) и "Юнона и Авось" (на основе поэмы Андрея Вознесенского), поставленные на сцене Московского театра им. Ленинского комсомола режиссером Марком Захаровым в 1976 и 1981 гг. соответственно.
В 1988 г. Алексей Рыбников основал при Союзе композиторов производственно-творческое объединение "Современная опера". В 1992 г. этот коллектив представил публике оперу-мистерию "Литургия оглашенных", над которой композитор работал более десяти лет. Для постановки был создан Театр Алексея Рыбникова, в 1999 г. он получил государственную поддержку и был официально зарегистрирован как "Московская государственная творческая мастерская под руководством Алексея Рыбникова". В репертуаре театра, в котором композитор занимает пост художественного руководителя, - рок-опера "Юнона и Авось", музыкальные спектакли "Хоакин Мурьета" и "Аллилуйя любви", хореографическая драма "Глазами клоуна" и др. Мастерская не имеет собственной сцены, постановки идут в концертных залах и театрах Москвы и других городов.
В 2017 г. состоялась мировая премьера фильма "Дух Соноры" - музыкальной картины по мотивам рок-оперы "Звезда и смерть Хоакина Мурьеты". Режиссером и автором музыки стал Алексей Рыбников.
С 2017 по 2022 г. - председатель совета Союза композиторов России.
29 ноября 2021 г. Алексей Рыбников стал временным художественным руководителем театра "Градский холл". Заменил на посту народного артиста России Александра Градского (1949-2021), возглавлявшего театр с момента основания до своей смерти.
С 24 августа 2022 г. - сопредседатель совета Российского музыкального союза.
Член Совета по культуре и искусству при президенте РФ.
Член совета по культуре при Федеральной службе войск национальной гвардии РФ, совета Российского фонда культуры.
В 2012 и 2018 гг. являлся доверенным лицом кандидата на пост президента РФ Владимира Путина.
Заслуженный деятель искусств РСФСР (1989). Народный артист России (1999).
Награжден орденами Дружбы (2006), Почета (2010), "За заслуги перед Отечеством" IV степени (2016), "За заслуги в культуре и искусстве" (2022).
Лауреат Государственной премии РФ в области литературы и искусства 2002 г., премии президента РФ в области литературы и искусства за произведения для детей и юношества 2017 г.
В 2003 г. за музыку к фильму "Звезда" был удостоен кинопремий "Ника" и "Золотой орел".
В 2015 г. Алексей Рыбников выпустил автобиографию "Коридор для слонов".
Женат вторым браком. Супруга - Татьяна Кадышевская-Рыбникова. Дочь - Анна, руководитель фермерского хозяйства в Ярославской области. Сын - Дмитрий, композитор и продюсер.