Родился 21 августа 1935 г. в Москве в семье Тихона Илларионовича Гладилина (1899-1961) и Полины Моисеевны Дрейцер (1896-1975). Отец работал в Наркомате резиновой промышленности, мать была врачом.
В 1953 г. Анатолий Гладилин окончил в Москве среднюю школу, после этого год работал в рентгеновской лаборатории. Тогда же начал писать рассказы.
В 1954-1958 гг. Анатолий Гладилин учился в Литературном институте им. А. М. Горького (Москва), но не окончил его. В 1958-1960 гг. работал заведующим отделом литературы и искусства газеты "Московский комсомолец", литературным сотрудником газеты "Комсомольская правда". Впоследствии был редактором на Киностудии им. М. Горького.
Известность Анатолию Гладилину принесла повесть "Хроника времен Виктора Подгурского", опубликованная в журнале "Юность" в 1956 г. Произведение было посвящено судьбам выпускников школ и студентов. В 1958 г. московское издательство "Советский писатель" выпустило эту повесть отдельной книгой. По мнению специалистов, она положила начало поджанру "исповедальной прозы" в литературе СССР.
Успех молодого писателя закрепила повесть "Бригантина поднимает паруса", вышедшая в 1957 г. Ее сюжетная линия была связана с нравственным поиском молодого москвича, уехавшего на комсомольскую стройку в небольшой алтайский город.
В 1960 г. Анатолий Гладилин был принят в Союз писателей СССР.
В 1965-1966 гг. он открыто выступал в поддержку литераторов Андрея Синявского и Юрия Даниэля, которые были обвинены судом в передаче для печати за границей произведений, "порочащих советский государственный и общественный строй".
Во второй половине 1960-х гг. произведения Анатолия Гладилина почти не публиковались в СССР. Однако в 1970-е гг. писатель начал сотрудничать с Издательством политической литературы ЦК КПСС. В серии "Пламенные революционеры" вышли его роман "Евангелие от Робеспьера" (1970) и произведение "Сны Шлиссельбургской крепости. Повесть об Ипполите Мышкине" (1974).
В 1972 г. эмигрантское антикоммунистическое издательство "Посев" (Франкфурт-на-Майне, ФРГ) напечатало роман Гладилина "Прогноз на завтра", который до этого был отклонен советскими редакторами.
В 1975 г. в СССР были выпущены сборник Анатолия Гладилина "Два года до весны" и его детская книга "Секрет Жени Сидорова".
В 1976 г. писатель по израильской визе эмигрировал из СССР. С этого времени и до конца жизни он преимущественно проживал во Франции, получил гражданство этой страны. Сотрудничал с русской службой парижского отделения радиостанции "Свобода", журналами "Континент" (входил в его редколлегию) и "Синтаксис", публиковал рассказы и повести.
В 1991 г. Анатолий Гладилин выпустил автобиографический роман "Меня убил скотина Пелл", в 2000 г. - историко-приключенческую книгу "Тень всадника".
С середины 2000-х гг. писатель неоднократно заявлял о нарастании кризисных явлений, связанных с притоком в Европу нелегальных иммигрантов. В 2007 г. вышла книга "Жулики, добро пожаловать в Париж", в которой литератор представил собственный взгляд на современное состояние французского общества.
В 2008 г. Анатолий Гладилин выпустил книгу воспоминаний "Улица генералов. Попытка мемуаров", в 2016 г. - автобиографическую повесть "Тигрушка".
Его произведения переведены на английский, немецкий, итальянский, венгерский, чешский и другие языки.
Анатолий Гладилин был награжден медалью Пушкина (2012).
Был женат на Марии Яковлевне Тайц. В браке родилась дочь Алла. Также имел внебрачную дочь Елизавету.