Родился 29 октября 1861 г. (17 октября 1861 г. по ст. ст.) в селе Станичная слобода Борисоглебского уезда Тамбовской губернии (ныне в черте г. Борисоглебска Воронежской обл.) в семье иконописца. В детстве помогал своему отцу при росписи икон и храмов. В 14 лет остался сиротой.
Способности Андрея Рябушкина к рисованию заметил его земляк, студент Московского училища живописи, ваяния и зодчества Андрей Преображенский. Он поспособствовал переезду Рябушкина в Москву.
В 1875 г. Андрей Рябушкин был принят в Московское училище живописи, ваяния и зодчества. Одним из его преподавателей был известный живописец Василий Перов, благодаря которому Рябушкин получил возможность бесплатно обучаться в училище. В числе первых работ молодого художника были картины "Крестьянская свадьба в Тамбовской губернии" (1880), "Масленичное гуляние", "Летний вечер в деревне", "Гаданье на святках" (все - 1881) и др.
После смерти Василия Перова Рябушкин ушел из Московского училища, не окончив его, и отправился в Петербург. В 1882-1890 гг. продолжил обучение живописи в Императорской Академии художеств. В годы учебы создал ряд картин на академические библейские сюжеты ("Ноев ковчег", 1882; "Эсфирь перед Артаксерксом", 1887). Сотрудничал с журналами и издательствами, иллюстрируя научные статьи и художественные произведения ("Всемирная иллюстрация", "Исторический вестник", "Нива" и др.).
Для своей дипломной работы художник выбрал сюжет о распятии Иисуса Христа, однако в итоге отошел от первоначального эскиза, одобренного академическим советом. На картине "Голгофа" ("Снятие с креста", 1890) он попытался передать трагизм ситуации не столько через изображение самого Христа, сколько через окружающие его фигуры. Из-за нарушения правил конкурса Рябушкин не смог получить Большую золотую медаль Императорской Академии художеств и, как следствие, грант на дальнейшее обучение за границей. Однако дипломная работа художника получила одобрение академиков, ее приобрел меценат Павел Третьяков. Президент Академии художеств великий князь Владимир Александрович лично выделил молодому живописцу средства, полагающиеся медалистам.
Еще в период обучения в академии Рябушкин познакомился с Ильей Тюменевым, который оборудовал для него мастерскую в своем имении Приволье, расположенном близ деревни Доброе Село в Любанской волости Новгородского уезда Новгородской губернии (ныне Тосненский район Ленинградской области). В Приволье художник прожил с 1891 по 1901 г. и создал здесь большую часть своих произведений. Илья Тюменев организовал в имении кружок молодых художников, в который вместе с Рябушкиным входили Василий Павлов, Владимир Беляев и др. Они вместе работали, изучали памятники древнерусского зодчества, русский быт и народное искусство, а также участвовали в перестройке и росписи местной Никольской церкви, устройстве школы для крестьянских детей и др.
Рябушкин совершил ряд поездок по древним русским городам, посетил Орел, Тулу, Киев, Великий Новгород, Тверь, Ярославль и др. Художник писал на заказ, работал для различных изданий и альбомов, занимался подготовкой эскизов росписи Софийского собора в Новгороде (не реализованы), изучал древнерусскую литературу и каллиграфию, фрески ярославских и ростовских храмов и др.
В 1891 г. Рябушкин написал картину "Ожидание новобрачных от венца в Новгородской губернии", спустя год - "Потешные Петра I в кружале", которые в тех же годах экспонировались Товариществом передвижных художественных выставок. Позднее в 1894 г. вновь принял участие в выставке передвижников с картиной "У чудотворной иконы" (1893).
Был участником выставок Общества художников исторической живописи (1895, 1896).
В 1893 г. создал новое полотно - “Сидение царя Михаила Федоровича с боярами в его государевой комнате”. В нем в полной мере проявился интерес Рябушкина к русскому быту, к национальному декору и орнаментам, которые впоследствии стали неотъемлемой чертой стиля художника.
Андрей Рябушкин писал в основном жанровые картины, посвященные крестьянскому и мещанскому быту, и сцены из истории России XVII века, через которую он, по словам критика Сергея Маковского, "связывал современность с историей". Для его живописи характерны насыщенность колорита, декоративная четкость, цветовое исполнение в традициях русской иконописи и русских фресок. Известный теоретик искусства Александр Бенуа называл художника "вторым историческим живописцем" после Василия Сурикова. Сергей Маковский писал, что "неровное, но большое дарование [Рябушкина] дает ему право на почетное место в семье современных русских мастеров".
В 1895-1900 гг. Андрей Рябушкин работал над росписью храма во имя Рождества Пресвятой Богородицы при Санкт-Петербургской консерватории, создал ряд эскизов мозаичных образов для храма Воскресения Христова, известного как Спас на крови, в Петербурге.
Занимался иллюстрацией русских былин и сказаний. В частности, создал ряд карандашных и акварельных рисунков к книге "Русские былинные богатыри" (1895), иллюстрации "Настасья Микулична" и "Девушка-чернавушка побивает мужиков новгородских" (1898) и др.
В 1901 г. Андрей Рябушкин переехал из Приволья в соседнюю усадьбу Дидвино, которую выкупил у прежних владельцев его близкий друг художник Владимир Беляев.
В начале 1900-х гг. принимал участие в выставках объединений "Мир искусства" (1901, 1902, 1903) и "36 художников" (1901-1902, 1902-1903), Союза русских художников (1903-1904).
Полотна Андрея Рябушкина "Московская улица XVII века в праздничный день" (1895), "Семья купца в XVII веке" (1896) и "Русские женщины XVII века в церкви" (1899) были отмечены на Всемирной выставке в Париже в 1900 г.
Среди других известных произведений: картина "Свадебный поезд в Москве" (1901), которую художник Михаил Нестеров назвал "одной из прекраснейших вещей в русском искусстве", полотна "Едут. Народ московский во время въезда иностранного посольства в Москву в конце XVII века" (1901), "Втерся парень в хоровод..." и "Пожалован шубой с царского плеча" (обе - 1902), "Московская девушка XVII века" (1903) и др. Картины "Церковь" ("Новгородская церковь") и "Чаепитие" (обе - 1903) считаются одними из вершин позднего периода творчества Андрея Рябушкина.
Последним произведением художника (неоконченным) стало полотно "Князь Ухтомский в битве с татарами на Волге в 1469 году" (1904), в котором Рябушкин соединил традиции народного лубка, фрески и русской книжной культуры.
Всего за свою жизнь художник создал около 2 тыс. работ: картин, акварелей, рисунков, этюдов и иллюстраций.
В последние годы Андрей Рябушкин тяжело болел: у него был диагностирован туберкулез. В 1903 г. доктора отправили его в Швейцарию, по пути туда он посетил также Германию. Однако лечение не помогло.
10 мая (27 апреля по ст. ст.) 1904 г. художник скончался в возрасте 42 лет в имении Дидвино и был погребен на ближайшем кладбище в Добром Селе.
Через восемь лет после смерти Рябушкина его друзья организовали посмертную выставку работ художника. Сборы от нее пошли, в частности, на учреждение стипендий в Академии художеств и Московском училище живописи, ваяния и зодчества.
В 1957 г. прах Андрея Рябушкина был перезахоронен на Любанском городском кладбище (Тосненский район Ленинградской области).
Картины художника хранятся в Государственной Третьяковской галерее (Москва), Государственном Русском музее, Всероссийском музее А. С. Пушкина, Научно-исследовательском музее Российской академии художеств (Санкт-Петербург) и др., а также в частных собраниях.
Именем художника названы улицы в г. Любани Ленинградской области и г. Борисоглебске Воронежской области. В 2009 г. на здании бывшей церковно-приходской школы Борисоглебска, где учился Андрей Рябушкин, установлена мемориальная доска.