Родился 6 февраля 1923 г. в слободе Кантемировка (Константиновская волость Богучарского уезда Воронежской губернии, ныне поселок в Воронежской обл.).
В 1940 г. окончил десять классов средней школы и школу планеристов Осоавиахима в г. Миллерово (ныне в Ростовской обл.). В 1941 г. окончил обучение в аэроклубе им. С. А. Леваневского в Ворошиловграде (ныне Луганск, ЛНР). В июне 1944 г. - ворошиловградскую авиационную школу летчиков, эвакуированную в Уральск (Казахская ССР, ныне Казахстан). В мае 1951 г. стал выпускником Военно-воздушной академии (Монино, Московская обл.), в ноябре 1957 г. - окончил с золотой медалью Высшую военную академию (ныне Военная академия Генерального штаба ВС РФ, Москва). Кандидат военных наук (1965), профессор.
С мая 1941 г. состоял в рядах Рабоче-крестьянской Красной армии. В июне - августе 1942 г. Александр Ефимов был летчиком 10-го запасного авиационного полка, базировавшегося в пос. Каменка (ныне город в Пензенской обл.), пилотировал скоростной фронтовой бомбардировщик СБ и штурмовик Ил-2.
Участвовал в боевых действиях Великой Отечественной войны 1941-1945 гг. на Западном (август 1942 г. - апрель 1944 г.) и 2-м Белорусском фронтах (апрель 1944 г. - май 1945 г.) В период с августа по ноябрь 1942 г. служил летчиком 594-го штурмового авиаполка, с ноября 1942 г. по апрель 1945 г. состоял в 198-м штурмовом авиаполку, где последовательно занимал должности летчика, командира звена, заместителя командира авиаэскадрильи и командира авиаэскадрильи. В апреле - мае 1945 г. был штурманом 62-го штурмового авиаполка. Участник Ржевско-Сычёвской, Ржевско-Вяземской, Орловской, Смоленско-Рославльской, Могилёвской, Белостокской, Осовецкой, Млавско-Эльбингской и Восточно-Померанской операций.
Всего в годы войны Александр Ефимов совершил 222 боевых вылета на штурмовике Ил-2 на разведку и для нанесения ударов по живой силе и технике противника.
После Великой Отечественной войны до июля 1946 г. продолжал службу штурманом 62-го штурмового авиаполка в Северной группе войск (Польша).
Окончив Военно-воздушную академию, с июля 1951 по июнь 1954 г. подполковник Александр Ефимов командовал 167-м гвардейским штурмовым авиаполком Закавказского военного округа (аэродром Копитнари, г. Кутаиси, Грузинская ССР, ныне Грузия), летал на штурмовике Ил-10.
В июне 1954 г. - ноябре 1955 г. занимал пост заместителя командира 10-й гвардейской штурмовой авиадивизии по летной подготовке (г. Цулукидзе, ныне Хони, Грузия), освоил реактивный истребитель МиГ-15бис.
После выпуска из Высшей военной академии в ноябре 1957 г. - феврале 1958 г. в звании полковника командовал 339-й авиадивизией истребителей-бомбардировщиков в Прибалтийском военном округе (г. Елгава, Латвийская ССР, ныне Латвия), пилотировал истребитель МиГ-15.
С апреля 1958 г. по октябрь 1959 г. командовал 6-й гвардейской бомбардировочной авиадивизией (г. Черняховск Калининградской обл.), летал на реактивном бомбардировщике Ил-28.
С октября 1959 г. Александр Ефимов занимал должность заместителя командующего 30-й воздушной армией по боевой подготовке (г. Рига, Латвийская ССР). В августе 1961 - октябре 1964 гг. в звании генерал-майора авиации служил 1-м заместителем командующего этой воздушной армией.
С октября 1964 г. по март 1969 г. командовал 57-й (с апреля 1968 г. - 14-я) воздушной армией в Прикарпатском военном округе (г. Львов, Украинская ССР, ныне Украина).
С марта 1969 г. по декабрь 1984 г. являлся первым заместителем главнокомандующего Военно-воздушными силами (ВВС) СССР.
С декабря 1984 г. по июль 1990 г. маршал авиации Александр Ефимов был главнокомандующим ВВС - заместителем министра обороны СССР.
Депутат Верховного Совета СССР 2-го (1946-1950) и 9-11 созывов (1974-1989), Верховного Совета Латвийской ССР 6-го созыва (1963-1967), Верховного Совета Украинской ССР 7-го созыва (1967-1971). В 1986-1990 гг. был членом Центрального комитета КПСС. Народный депутат СССР (1989-1991).
С июля 1990 по август 1993 г. работал председателем Государственной комиссии СССР (позднее РФ) по использованию воздушного пространства и управлению воздушным движением. В августе 1993 г. вышел в отставку.
В 2000-х гг. занимался общественной деятельностью. С 2000 г. входил в Российский организационный комитет "Победа", с 2002 г. был заместителем председателя этой организации. В 2006-2012 гг. был председателем Российского комитета ветеранов войны и военной службы. Член Общественной палаты РФ в 2006-2010 гг. Проживал в Москве.
Александр Ефимов скончался 31 августа 2012 г. на 90-м году жизни. Похоронен на Новодевичьем кладбище столицы.
Маршал авиации (1975).
Военный летчик 1-го класса (1959). Заслуженный летчик СССР (1970).
Дважды Герой Советского Союза (1944, 1945). Александр Ефимов был награжден тремя орденами Ленина (1944, 1967, 1981), орденом Октябрьской Революции (1988), пятью орденами Красного Знамени (1943, 1944, 1944, 1969, 1973), орденом Александра Невского (1944), двумя орденами Отечественной войны I степени (1943, 1985), орденами Красной Звезды (1956) и "За службу Родине в Вооруженных Силах СССР" III степени (1976), российскими орденами "За заслуги перед Отечеством" II (2003), III (2003) и IV (1998) степеней, российским орденом Мужества (2000), медалями, иностранными наградами.
Лауреат Государственной премии СССР (1984, за работы в области военной науки и техники).
Почетный гражданин г. Миллерово (1974) и Кантемировского района Воронежской обл. (2006).
Автор книг "Над полем боя" (1976), "Советские Военно-Воздушные Силы" (1987), "Штурмовики идут на цель" (2003).
Бюсты героя установлены в Миллерово и пос. Кантемировка (Воронежская обл.). В Москве и Миллерово на зданиях, где жил военачальник, размещены мемориальные доски. Имя Александра Ефимова носит городской квартал в Миллерово.