Родился 3 июля 1925 г. в Харькове (Украинская ССР, ныне Украина) в семье сотрудников авиационного завода. Во время Великой Отечественной войны предприятие было эвакуировано в г. Молотов (ныне Пермь), Анатолий Эфрос работал на нем слесарем.
В 1943 г. поступил в актерскую студию Юрия Завадского при Театре им. Моссовета, которая находилась в эвакуации там же. В 1944 г. был принят в Москве на режиссерский факультет Государственного института театрального искусства им. А. В. Луначарского (ныне Российский институт театрального искусства - ГИТИС). Окончил вуз в 1950 г. Выпускник мастерской народного артиста РСФСР Николая Петрова.
В 1950 г. Анатолий Эфрос поставил в Театре Центрального дома культуры железнодорожников спектакль "Прага остается моей" по пьесе Юрия Буряковского.
В 1952-1953 гг. работал в Рязанском государственном областном театре драмы. Осуществил постановки: "Любовь на рассвете" по пьесе Ярослава Галана, "Горячее сердце" по комедии Александра Островского, "Девицы-красавицы" по пьесе Алексея Симукова, "Любовь Яровая" по произведению Константина Тренева.
С 1954 по 1963 г. Анатолий Эфрос был режиссером Центрального детского театра (ныне Российский академический молодежный театр) в Москве. Среди его постановок: "В добрый час!" и "В поисках радости" по пьесам Виктора Розова, "Борис Годунов" по исторической драме Александра Пушкина, "Цветик-семицветик" по произведению Валентина Катаева, "Женитьба" по пьесе Николая Гоголя. Среди других спектаклей этих лет - "Никто" по пьесе Эдуардо де Филиппо в театре-студии "Современник" (ныне Московский театр "Современник") и "В гостях и дома" по комедии Александра Володина в Московском драматическом театре им. М. Н. Ермоловой.
В 1963-1967 гг. - главный режиссер Московского театра им. Ленинского комсомола (ныне Московский государственный театр "Ленком Марка Захарова"). Поставил в нем спектакли: "104 страницы про любовь" по произведению Эдварда Радзинского, "Мой бедный Марат" по пьесе Алексея Арбузова, "Чайка" по произведению Антона Чехова, "Мольер" по роману Михаила Булгакова.
В 1967-1984 гг. Анатолий Эфрос был режиссером Московского драматического театра на Малой Бронной. Среди его постановок: "Три сестры" по пьесе Антона Чехова, "Ромео и Джульетта" и "Отелло" по трагедиям Уильяма Шекспира, "Дон Жуан" по комедии Мольера, "Месяц в деревне" по произведению Ивана Тургенева, "Лето и дым" по пьесе Теннесси Уильямса, "Воспоминание" по произведению Алексея Арбузова. В течение этих лет также сотрудничал с другими театрами. Так, в Государственном академическом театре им. Моссовета поставил спектакль "Дальше - тишина…" по пьесе Виньи Дельмар "Уступите место завтрашнему дню", а в Московском художественном академическом театре СССР им. М. Горького - "Эшелон" по произведению Михаила Рощина, "Тартюф" по комедии Мольера, "Живой труп" по пьесе Льва Толстого. Также работал за рубежом - в Театре Гатри (Миннеаполис, США) поставил "Женитьбу" Гоголя, а в театре "Тоэн" (Токио, Япония) - "Вишневый сад" Чехова.
В 1984 г. Анатолий Эфрос стал главным режиссером Московского театра на Таганке. Он сменил в должности Юрия Любимова, который был освобожден от руководства театром и лишен советского гражданства. Эфрос осуществил постановки: "На дне" по пьесе Максима Горького, "У войны не женское лицо" по произведению Светланы Алексиевич, "Мизантроп" по комедии Мольера.
Создал ряд фильмов-спектаклей. Среди них: "Платон Кречет" по произведению Александра Корнейчука (1972), "Человек со стороны" по пьесе Игнатия Дворецкого (1973), "Милый лжец" по произведению Джерома Килти (1976), "Острова в океане" по роману Эрнеста Хемингуэя (1978).
Снял несколько художественных фильмов. В их числе: "Шумный день" по пьесе Виктора Розова "В поисках радости" (1960, совместно с Георгием Натансоном), "Двое в степи" по повести Эммануила Казакевича (1962), "Таня" по пьесе Алексея Арбузова (1974), "В четверг и больше никогда" (1977).
С 1964 г. (с перерывами) Анатолий Эфрос преподавал в ГИТИСе.
Анатолий Эфрос скончался 13 января 1987 г. в Москве на 62-м году жизни. Похоронен на столичном Кунцевском кладбище.
Заслуженный деятель искусств РСФСР (1976).
Был награжден орденами Трудового Красного Знамени и Дружбы народов.
Автор книг "Репетиция - любовь моя" (1975) и "Профессия: режиссер" (1979). В 1993 г. было издано собрание его сочинений в четырех томах.
Был женат на Наталье Крымовой (1930-2003, заслуженный деятель искусств РФ, театровед). Сын - Дмитрий Крымов (род. 1954, театральный художник и режиссер).