Родился 8 января 1962 г. в поселке Холмский Абинского района Краснодарского края.
В 1984 г. окончил учетно-экономический факультет Ленинградского института советской торговли им. Ф. Энгельса, в 2001 г. - вечернее отделение юридического факультета Санкт-Петербургского государственного университета.
В 2004 г. в Санкт-Петербургском университете экономики и финансов защитил диссертацию на соискание научной степени кандидата экономических наук по теме "Концепция и системная организация процесса формирования предпринимательских структур, ориентированных на потребителя".
Доктор экономических наук. В 2006 г. в том же вузе защитил диссертацию на тему "Формирование и реализация налоговой политики современной России".
В 1984-1985 гг. служил в Вооруженных силах СССР.
С 1985 по 1991 г. работал в Ленинграде (ныне – Санкт-Петербург) заместителем заведующего секцией, заведующим секцией магазина №3 Ленмебельторга.
С 1991 г. занимал должность заместителя директора по коммерческой работе Ленмебельторга. В 1993-1995 гг., после преобразования Ленмебельторга в АО "Мебель-маркет", был заместителем директора, директором по маркетингу, в 1995-2000 гг. - генеральным директором этого предприятия.
В октябре 2000 г. был назначен заместителем руководителя межрайонной инспекции №1 Министерства РФ по налогам и сборам (МНС) по работе с крупнейшими налогоплательщиками г. Санкт-Петербурга. С мая 2001 г. - заместитель руководителя, с ноября 2001 г. - руководитель Управления МНС РФ по Санкт-Петербургу (сменил на этом посту Виктора Зубкова, который впоследствии стал главой правительства РФ).
В феврале 2004 г. Анатолий Сердюков был назначен руководителем Управления МНС РФ по г. Москве, в начале марта 2004 г. стал одновременно заместителем министра РФ по налогам и сборам. 9 марта 2004 г. МНС было преобразовано в Федеральную налоговую службу. 16 марта Сердюков занял пост и. о. руководителя этого ведомства.
С 27 июля 2004 г. по 19 февраля 2007 г. - руководитель Федеральной налоговой службы в правительстве Михаила Фрадкова.
С 15 февраля 2007 г. по 6 ноября 2012 г. - министр обороны РФ (сменил во главе ведомства Сергея Иванова). 18 сентября 2007 г. подал Владимиру Путину рапорт об отставке, поскольку находился в родственных отношениях с Виктором Зубковым (женат на его дочери), назначенным председателем правительства РФ. Президент отставку не принял. В мае 2008 г. Сердюков был вновь назначен министром обороны президентом РФ Дмитрием Медведевым, а в мае 2012 г. - президентом Владимиром Путиным. За время работы Анатолия Сердюкова во главе министерства российская армия провела успешную кампанию против грузинских вооруженных сил, которые в августе 2008 г. атаковали Южную Осетию. В российской армии начались масштабные реформы: изменение организационно-штатной структуры Вооруженных сил и системы закупок, сокращение численности военнослужащих, запуск программы перевооружения. 6 ноября 2012 г. Анатолий Сердюков был отправлен в отставку после начала громкого коррупционного скандала о хищениях в подведомственной Минобороны компании "Оборонсервис" (Сердюков возглавлял ее совет директоров в 2009-2011 гг.) и возбуждения ряда уголовных дел, по которым министр проходил свидетелем.
С 9 апреля 2007 г. по 6 ноября 2012 г. - постоянный член Совета безопасности РФ.
Также в 2007-2012 гг. был председателем наблюдательного совета государственной корпорации Ростехнологии (с 2014 г. - Ростех), которая объединяет предприятия по выпуску гражданской и военной промышленной продукции, а также радиоэлектроники.
1 ноября 2013 г. был назначен генеральным директором Федерального исследовательского испытательного центра машиностроения госкорпорации Ростех. Занимал эту должность до 2015 г.
28 ноября 2013 г. Главным военным следственным управлением Следственного комитета (СК) РФ в отношении экс-министра было возбуждено уголовное дело по ч. 1 ст. 293 Уголовного кодекса РФ ("Халатность"). По данным следствия, возглавляя Минобороны, Сердюков поручил построить за счет бюджета ведомства автомобильную дорогу от села Краса Икрянинского района Астраханской области до острова Школьный. На территории острова располагается база отдыха "Житное", которая принадлежала Валерию Пузикову, мужу сестры Анатолия Сердюкова. По версии следствия, в результате действий экс-министра государству был причинен ущерб на сумму более 56 млн руб. Уголовное дело в отношении Сердюкова было прекращено 14 февраля 2014 г. по амнистии, объявленной в связи с 20-летием Конституции РФ.
В 2014 г. был советником первого заместителя генерального директора Ростеха.
С октября 2015 г. Анатолий Сердюков занимает пост индустриального директора по авиационному кластеру госкорпорации Ростех (в кластер входят "Вертолеты России", Объединенная двигателестроительная корпорация, "Технодинамика"). Сменил на этой должности Алексея Федорова, бывшего президента Объединенной авиастроительной корпорации. В сентябре 2016 г. вошел в состав правления Ростеха (генеральный директор – Сергей Чемезов).
С 2016 г. – председатель совета директоров АО "Технодинамика". Также возглавлял совет директоров ПАО "Уфимское моторостроительное производственное объединение" (входит в Объединенную двигателестроительную корпорацию).
В 2017 г. вошел в совет директоров Объединенной авиастроительной корпорации.
8 мая 2019 г. Анатолий Сердюков был избран председателем совета директоров Объединенной авиастроительной корпорации (ОАК). Ранее этот пост занимал министр промышленности и торговли РФ Денис Мантуров. Покинул пост в мае 2021 г., уступив его главе Ростеха Сергею Чемезову. В 2017-2022 гг. возглавлял совет директоров ПАО "Роствертол" (входит в холдинг "Вертолеты России").
Действительный государственный советник РФ I класса.
Награжден орденом "За заслуги перед Отечеством" IV степени (2008).
Также имеет награду Республики Белоруссия - орден Дружбы народов (2009).
В 2012 г. указом президента Украины Виктора Януковича награжден именным огнестрельным оружием.