Родился 5 июля 1956 г. в селе Протопоповка (Харьковская обл., Украинская ССР; ныне - в составе Украины).
В 1973 г. окончил Центральный спортивный планерный аэроклуб им. С.Н. Анохина ДОСААФ СССР в Орловской обл., в 1978 г. - Тамбовское высшее военное авиационное училище летчиков имени М.М. Расковой, в 1988 г. - командный факультет Военно-воздушной академии им. Ю. А. Гагарина (Монино, Московская обл.) по специальности "командно-штабная оперативно-тактическая ВВС". В 2003 г. окончил курсы Военной академии Генерального штаба Вооруженных Сил Российской Федерации в Москве.
Кандидат военных наук.
В Вооруженные силах с 1974 г. В частях Дальней авиации СССР проходил службу на должностях помощника командира корабля, командира корабля, заместителя командира авиационной эскадрильи, командира авиационной эскадрильи, заместителя командира 184-го гвардейского Полтавско-Берлинского краснознаменного тяжелого бомбардировочного авиационного полка (Прилуки, Украинская ССР; расформирован на Украине в 2000 г.). После распада Советского Союза часть личного состава этого полка в марте 1992 г. присягнула на верность Украине, Анатолий Жихарев принял решение продолжить службу в ВВС России.
В 1992-1996 гг. - командир 1096-го гвардейского тяжелого бомбардировочного авиаполка, который в 1994 г. был переформирован в 121-й гвардейский тяжелый бомбардировочный Севастопольский краснознаменный авиаполк (авиабаза Энгельс, Саратовская обл.).
В 1996-2000 гг. - заместитель командира 22-й гвардейской тяжелой бомбардировочной авиационной Донбасской краснознаменной дивизии (г. Энгельс). С июля 2000 г. по апрель 2005 г. - командир данной дивизии.
В период с мая 2005 г. по июль 2009 г. - заместитель командующего 37-й воздушной армией Верховного главного командования стратегического назначения (в настоящее время - Командование Дальней авиации ВКС России), далее - первый заместитель командующего - начальник штаба 37-й воздушной армии.
5 августа 2009 г. указом президента РФ Дмитрия Медведева назначен командующим Дальней авиацией, сменил на посту генерал-майора Павла Андросова.
В сентябре 2016 г. уволен в запас с связи с достижением предельного возраста пребывания на военной службе. По сообщению Минобороны РФ от 17 сентября 2016 г., был назначен "советником Президента РФ по вопросам применения Дальней авиации".
Анатолий Жихарев был в числе первых пилотов ВВС СССР, которые осваивали стратегический бомбардировщик-ракетоносец Ту-160. Имеет налет свыше 3 тыс. часов, всего освоил 8 типов самолетов - Л-29, Ил-28, Ил-78, Ту-134, Ту-95, Ту-22М, Ту-16, Ту-160. 22 октября 1992 г. выполнил первый в истории российских ВВС практический пуск крылатой ракеты Х-55 с борта Ту-160. 9 мая 1995 г. пилотировал Ту-160 в ходе воздушного парада в честь 50-летия Победы в Москве. 16 августа 2005 г. совершил полет на Ту-160 с президентом РФ Владимиром Путиным на борту (самолет переходил в сверхзвуковой режим, был выполнен пуск крылатых ракет).
Генерал-лейтенант (с 12 июня 2012 г.).
Награжден орденами "За заслуги перед Отечеством" IV степени (2006) и "За службу Родине в Вооруженных Силах СССР" III степени (1991), медалями.
Заслуженный военный летчик Российской Федерации (1997), летчик-снайпер.