Родился 6 апреля 1920 г. в городе Осташков Тверской губернии (ныне - Тверская обл.). Его отец был бухгалтером, мать - учительницей. Начальную школу окончил в родном городе, а среднюю школу (с отличием) - в Смоленске, куда впоследствии переехала семья.
В 1937 г. без экзаменов был зачислен в Московский механико-машиностроительный институт (ныне - Московский государственный технический университет им. Н. Э. Баумана). В 1940 г. стал студентом факультета артиллерийского вооружения. Окончил вуз в 1946 г. по специальности инженера-механика.
Доктор технических наук. В 1959 г. защитил кандидатскую диссертацию на тему "Исследование автономного метода наведения летающих объектов с коррекцией их траектории на конечном участке полета", в 1965 г. - докторскую диссертацию. В 1984 г. ему было присвоено ученое звание профессора.
В 1979 г. Анатолий Савин был избран членом-корреспондентом, в 1984 г. - академиком Академии наук СССР. Затем стал академиком Российской академии наук (РАН), был членом Отделения нанотехнологий и информационных технологий РАН.
После начала Великой Отечественной войны, окончив четвертый курс института, записался добровольцем в 7-ю дивизию народного ополчения Бауманского района Москвы. Но вскоре был отозван из ополчения вместе с другими студентами технических вузов для работ по созданию и производству новейших систем полевой и танковой артиллерии для фронта. Был направлен в г. Горький (ныне - Нижний Новгород) на артиллерийский завод №92, где начал работать старшим контрольным мастером цеха противооткатных устройств. Без отрыва от производства продолжал учебу в институте. В 1942 г. был назначен начальником конструкторского отдела, в 1943 г. - главным конструктором завода. Разработал новое противооткатное устройство для танковой пушки Ф-34 конструкции Василия Грабина, возглавлял работы по созданию танковых (ЗИС-С-53) и противотанковых (ЗИС-2) орудий.
В 1945 г. конструкторское бюро завода №92 под руководством Анатолия Савина было привлечено к работам в рамках атомного проекта СССР. В конце того же года КБ было преобразовано в отдел главного конструктора. В марте 1947 г. на заводе №92 было создано Особое конструкторское бюро, и Савин был назначен его главным конструктором (совмещал эту должность с основной - главного конструктора завода). Под его руководством были разработаны первые диффузионные машины, ряд основных конструкций для промышленных технологий получения обогащенного урана и плутония, создан комплекс оборудования по диффузионному разделению изотопов урана, спроектирована система разгрузки облученных урановых блоков первого промышленного атомного реактора для наработки плутония.
В 1951 г. Анатолий Савин был переведен в Москву в конструкторское бюро №1 (впоследствии СКБ-41, ОКБ-41 в составе Московского конструкторского бюро "Стрела", затем в составе Центрального конструкторского бюро "Алмаз"), которое занималось созданием реактивных управляемых вооружений. Работал заместителем начальника конструкторского отдела, с 1953 г. был заместителем главного конструктора СКБ-41. Участвовал в работах по созданию ракетной управляемой системы "Комета" класса "воздух-море" (принята на вооружение в 1952 г.), был одним из создателей ракетных систем классов "воздух-море" (К-10, К-22, К-22 ПСИ), "воздух-земля" (К-20), "воздух-воздух" (К-5 и ее модернизации) и др.
С 1960 г. являлся начальником ОКБ-41, главным конструктором комплекса противоспутниковой обороны. В кооперации с ОКБ-52 (ныне - ВПК "НПО машиностроения") Владимира Челомея сотрудниками ОКБ-41 во главе с Анатолием Савиным был создан автоматизированный комплекс противоспутниковой обороны. Им в августе 1970 г. впервые в мире была успешно поражена условная цель в космосе (в США аналогичное поражение цели состоялось только в 1985 г.). Кроме того, под его руководством в ОКБ-41 создавались наземные радиоэлектронные комплексы и бортовые средства управления космических аппаратов в рамках системы предупреждения о ракетном нападении.
В 1973 г. решением правительства СССР на базе ОКБ-41 ЦКБ "Алмаз" был образован Центральный научно-исследовательский институт (ныне - Корпорация) "Комета" и Анатолий Савин назначен его директором и генеральным конструктором. Возглавлял ЦНИИ до 1999 г., с мая 1999 г. по май 2004 г. был научным руководителем "Кометы". В 1970-х гг. под его руководством коллектив института разработал систему оперативного обнаружения стартов и отслеживания траекторий движения межконтинентальных баллистических ракет (МБР), в 1980-х гг. создал радиоизмерительный управляющий комплекс, наземные и бортовые средства управления для глобальной системы обнаружения стартов МБР с самолетов, с наземных пусковых установок и с подводных лодок.
В 1979 г. Анатолий Савин выступил организатором и возглавил кафедру, образованную на факультете радиотехнических систем и устройств Московского института радиотехники, электроники и автоматики (ныне - базовая кафедра №338 "Космическая радиоэлектроника" Института радиотехнических и телекоммуникационных систем МИРЭА - Российского технологического университета). Руководил кафедрой до 2004 г.
С мая 2004 г. по май 2007 г. был генеральным конструктором Концерна воздушно-космической обороны "Алмаз-Антей" (создан в 2002 г.). Затем, с 2007 по 2016 г. являлся научным руководителем концерна. Занимался разработкой глобальных информационно-управляющих систем, в том числе в сфере мониторинга земной поверхности, контроля чрезвычайных ситуаций (природных и техногенных). Под его руководством разрабатывался проект "Глобальная информационная система аэрокосмического мониторинга Земли".
Возглавлял Научный совет РАН по проблемам обработки изображений. Являлся членом Экспертно-консультативного совета по устойчивому развитию при Государственной думе РФ, членом Экспертного совета при правительстве РФ.
Анатолий Савин скончался 27 марта 2016 г. в Москве на 96-м году жизни. Похоронен 30 марта на Троекуровском кладбище столицы.
Автор и соавтор более 500 научных трудов и изобретений.
Герой Социалистического Труда (1976). Лауреат трех Сталинских премий (1946, 1949, 1951), Ленинской премии (1972), Государственных премий СССР (1981) и РФ (1999).
Награжден орденами Ленина (1945, 1951, 1971, 1976), Трудового Красного Знамени (1944, 1949, 1956), Отечественной войны II степени (1944), "За заслуги перед Отечеством" II (2010) и III (1995) степеней. Был отмечен благодарностью президента России (2006) и почетной грамотой правительства РФ (2000).
Среди наград ученого золотые медали им. А. А. Расплетина (1970, АН СССР) и им. А. С. Попова (2010, РАН).
Почетный гражданин г. Осташков Тверской области (2011).