Родился 14 января 1911 г. в г. Чернигове (Российская империя, ныне Украина) в семье Наума Борисовича Аронова (1885-1963) и Дины Абрамовны Рыбаковой (1890-1959). Ранее детство провел в с. Держановке Черниговской области. Его отец служил управляющим винокуренных заводов местного помещика в с. Держановке, в советские годы продолжил работу в пищевой отрасли. Известен как автор ряда учебников, монографий и статей по пивоварению, технологии солодового молока и др.
Настоящая фамилия - Аронов.
В 1919 г. семья переехала в Москву. Вместе с родителями Анатолий Рыбаков жил на Арбате в доме №51, который позднее описал в своих произведениях. Учился в бывшей Хвостовской гимназии, восьмой и девятый классы окончил в Московской опытно-показательной школе-коммуне, основанной Пантелеймоном Лепешинским. Был принят в один из первых пионерских отрядов при фабрике им. Я. Свердлова.
По окончании школы работал на Дорогомиловском химическом заводе подсобным рабочим, грузчиком, затем шофером.
В 1930 г. Анатолий Рыбаков поступил на автодорожный факультет Транспортно-экономического института (в 1933 г. вошел в состав Московского института инженеров железнодорожного транспорта).
В 1933 г. он был исключен из комсомола и института. Причиной стало обвинение в "примиренческом отношении к троцкистской оппозиции". Несмотря на заступничество члена Верховного суда СССР Арона Сольца и последующее восстановление в институте, 5 ноября 1933 г. Анатолий Рыбаков был арестован. 10 января 1934 г. Особое совещание коллегии Объединенного государственного политического управления (ОГПУ) приговорило его к трем годам ссылки по статье 58-10 Уголовного кодекса РСФСР ("Контрреволюционная агитация и пропаганда").
Анатолий Рыбаков несколько лет был вынужден переезжать с места на место, перебиваясь случайными заработками. В 1938 г. устроился на работу в Рязанское областное управление автотранспорта.
После начала Великой Отечественной войны был призван в армию. Служил в автомобильных частях, участвовал в боях по обороне Москвы и Сталинграда, в штурме Берлина и др. С 1945 г. занимал должность начальника автослужбы 4-го гвардейского стрелкового корпуса (8-я гвардейская армия). В 1945-1946 гг. находился в Германии в составе оккупационных войск. Войну закончил в звании гвардии инженер-майора, был демобилизован в 1946 г.
19 октября 1945 г. за проявленное отличие в боях с немецко-фашистскими захватчиками был признан военным трибуналом "не имеющим судимости". В 1960 г. полностью реабилитирован.
По воспоминаниям писателя, свою первую книгу - приключенческую повесть для детей и подростков "Кортик" - он начал писать еще находясь в Германии. В качестве творческого псевдонима взял фамилию матери - Рыбаков.
Повесть "Кортик", принесшая писателю известность, была опубликована в 1948 г. В 1956 г. он выпустил продолжение цикла - повесть "Бронзовая птица", в 1975 г. - повесть "Выстрел". Все произведения были экранизированы. В 1954 г. фильм "Кортик" сняли режиссеры Владимир Венгеров и Михаил Швейцер. В 1973 г. одноименную ленту выпустил режиссер Николай Калинин, а спустя год на экраны вышла его картина "Бронзовая птица". Сюжет повести "Выстрел" лег в основу художественного телевизионного фильма "Последнее лето детства" (1974, реж. Валерий Рубинчик). Над сценариями ко всем четырем картинам работал сам Анатолий Рыбаков.
В 1950 г. им был опубликован первый роман - "Водители". Впоследствии вышли романы "Екатерина Воронина" (1955) и "Лето в Сосняках" (1964). По сценарию Рыбакова в 1957 г. кинорежиссер Исидор Анненский снял художественный фильм "Екатерина Воронина", заглавную роль в котором сыграла Людмила Хитяева. Эта работа стала ее дебютом в кинематографе.
В 1960-1970-е гг. Анатолием Рыбаковым были написаны еще три повести для молодежи - "Приключения Кроша" (1960), "Каникулы Кроша" (1966) и "Неизвестный солдат" (1970). Первое произведение трилогии о приключениях главного героя - Сергея Крашенинникова (Кроша) - было экранизировано в 1961 г. (реж. Генрих Оганесян). В 1980 г. на экраны вышел четырехсерийный телефильм "Каникулы Кроша" (реж. Григорий Аронов). Кроме того, мотивы произведения Рыбакова легли в основу мелодрамы "Эти невинные забавы" (1969; реж. Август Балтрушайтис). По третьей повести была снята драма "Минута молчания" (1971; реж. Игорь Шатров) и трехсерийный телевизионный фильм "Неизвестный солдат" (1984; реж. Григорий Аронов, Вадим Зобин). В 1988 г. вышел четырехсерийный телефильм Вадима Зобина по сценарию Рыбакова "Воскресенье, половина седьмого", завершивший цикл о Кроше.
В 1978 г. в журнале "Октябрь" был напечатан роман Анатолия Рыбакова "Тяжелый песок" (спустя год вышел отдельной книгой). Это первое крупное произведение советской литературы второй половины XX века, полностью посвященное истории еврейской семьи с 1909 по 1942 г. Впоследствии по нему был создан одноименный многосерийный фильм (реж. Антон и Дмитрий Барщевские, сценаристы Наталья Виолина, Леонид Зорин; премьера в 2008 г.).
В 1987 г. в журнале "Дружба народов" началась публикация самого известного романа писателя - "Дети Арбата", над которым он, по собственном словам, работал 20 лет. Выход романа в свет анонсировался еще в 1960-е гг. в журнале "Новый мир", затем в 1970-е гг. в журнале "Октябрь". Однако его публикация состоялась только в годы перестройки. По словам Рыбакова, он писал "Детей Арбата", "потому что не мог не писать", хотя "не рассчитывал напечатать их при жизни".
В конце 1980-х - начале 1990-х гг. были опубликованы остальные части трилогии (по другой версии - тетралогии): "Тридцать пятый и другие годы" (1988), "Страх" (1990; с этого времени "Тридцать пятый и другие годы" публикуется как первая книга этого романа), "Пепел (1994).
"Дети Арбата", посвященные судьбам молодого поколения в эпоху тоталитаризма и культа личности, получили огромный общественный резонанс. В образе одного из главных героев - Саши Панкратова - писатель изобразил самого себя. Рыбакову, которого противники романа упрекали в искажении личности Сталина, принадлежит цитата, ошибочно приписываемая лидеру СССР: "Нет человека - нет проблемы". В 2004 г. по мотивам романа "Дети Арбата" был выпущен многосерийный одноименный фильм Андрея Эшпая.
В 1995 г. было издано собрание сочинений писателя в семи томах. В 1997 г. вышел его автобиографический "Роман-воспоминание (Мой XX век)".
В 1989-1991 гг. Анатолий Рыбаков был президентом советского ПЕН-центра, с сентября 1991 г. - почетным президентом российского ПЕН-центра. Секретарь правления Союза писателей СССР (с 1991 г.).
С начала 1990-х гг. подолгу жил в США, где перенес операцию на сердце. Скончался в Нью-Йорке 23 декабря 1998 г. на 88-м году жизни. Был похоронен 6 января 1999 г. в Москве на Новокунцевском кладбище.
Книги Анатолия Рыбакова изданы в 52 странах мира общим тиражом более 20 млн экземпляров.
Писатель был награжден орденами Отечественной войны I (1945) и II (1945,1985) степеней, Трудового Красного Знамени, Дружбы народов (1981), медалями "За боевые заслуги" (1943), "За взятие Берлина", "За оборону Ленинграда".
Лауреат Сталинской премии II степени (1951) за роман "Водители", Государственной премии РСФСР им. братьев Васильевых (1973) за сценарий фильма "Минута молчания".
Почетный доктор философии Тель-Авивского университета.
Анатолий Рыбаков был трижды женат. Его первой супругой с 1939 по 1946 г. была Анастасия Тысячникова, с которой будущий писатель познакомился, работая в Рязани. Вторая жена - Наталья Давыдова, автор романов "Любовь инженера Изотова", "Никто никогда" и др. В 1978 г. третьей супругой Анатолия Рыбакова стала Татьяна Винокурова, дочь заместителя наркома снабжения и пищевой промышленности Марка Беленького. В 2005 г. она выпустила книгу воспоминаний "Счастливая ты, Таня!".
От первого брака у Анатолия Рыбакова родился сын Александр (1940-1994), от второго - Алексей (род. 1960; взял фамилию бабушки по материнской линии - Макушинский), поэт, прозаик, эссеист, литературовед.