Родился 14 октября 1892 г. (2 октября 1892 г. по старому стилю) в селе Марковка Харьковской губернии Российской империи (ныне поселок городского типа в ЛНР) в крестьянской семье.
В раннем возрасте начал работать пастухом, затем был рабочим на мельнице и на маслобойном заводе. В 1913 г. был призван на военную службу.
В Русской императорской армии служил рядовым 169-го Миргородского пехотного полка в Киевском военном округе (ВО). С началом Первой мировой войны 1914-1918 гг. в составе полка был отправлен на Юго-Западный фронт. Участвовал в Галицийской битве, был ранен. В феврале 1915 г. был переведен ефрейтором в 12-й пехотный полк 3-й пехотной дивизии, участвовал в Карпатской операции и осаде крепости Перемышль (ныне Пшемысль на юго-востоке Польши). В 1916 г. в звании младшего унтер-офицера был назначен в команду конных разведчиков, которую вместе с полком перебросили на Румынский фронт.
После Февральской революции 1917 г. румынское правительство предприняло попытку разоружить русские войска на своей территории, однако полк, в котором служил Андрей Еременко, сумел с боями уйти в Россию и вскоре был расформирован.
По возвращении в родное село в 1918 г. Андрей Еременко вступил в партию большевиков и организовал партизанский отряд для борьбы против иностранных интервентов, оккупировавших Луганщину. Впоследствии отряд стал именоваться Марковским батальоном и в январе 1919 г. присоединился к Рабоче-крестьянской красной армии (РККА). Тогда же время Андрей Еременко стал заместителем председателя и военным комиссаром Марковского ревкома.
В ходе Гражданской войны 1917-1922 гг. участвовал в боях на Южном, Кавказском и Юго-Западном фронтах. Был рядовым, помощником командира взвода 2-го кавалерийского полка, старшиной эскадрона и командиром взвода 34-го кавалерийского полка, начальником разведки и помощником начальника штаба по оперативной работе 1-й бригады 14-й кавалерийской дивизии, начальником полковой школы, а также начальником штаба 79-го кавалерийского полка в 14-й кавалерийской дивизии 1-й Конной армии. Андрей Еременко воевал против войск генерала Антона Деникина на юге страны, принимал участие в разгроме сил барона Петра Врангеля в Крыму, сражался с вооруженными формированиями Нестора Махно на Украине, участвовал в советско-польской войне 1919-1921 гг.
Затем был направлен на курсы подготовки и усовершенствования командиров полков в Высшую кавалерийскую школу (г. Ленинград, ныне Санкт-Петербург), после окончания которых стал начальником штаба 14-й кавалерийской дивизии. В 1929 г. был назначен командиром 79-го (позднее 55-го) кавалерийского полка той же дивизии.
В 1931 г. окончил курсы командиров-единоначальников при Военно-политической академии РККА им. Н. Г. Толмачёва (Москва), в 1935 г. стал выпускником особого факультета Военной академии РККА им. М. В. Фрунзе (ныне Общевойсковая академия Вооруженных Сил Российской Федерации в Москве).
После учебы получил должность помощника комдива в своей дивизии, а в 1937 г. стал ее командиром.
В июне 1938 г. Андрей Еременко был назначен командиром 6-го казачьего корпуса им. И. В. Сталина, во главе которого участвовал в походе Красной армии в Западную Белоруссию 1939 г. С июня 1940 г. командовал 3-м механизированным корпусом (Белорусский особый ВО), участвовал в операции по размещению советских войск в Литве. В декабре того же года был назначен командующим войсками Северо-Кавказского ВО. Однако не в должность вступить не успел и в январе 1941 г. получил назначение на пост командующего 1-й отдельной краснознаменной армией на Дальнем Востоке. 19 июня 1941 г. возглавил 16-ю армию, которая перебрасывалась из Забайкальского ВО на запад,
В начале Великой Отечественной войны 1941-1945 гг. Андрей Еременко являлся заместителем командующего и командующим войсками Западного фронта. Руководил боевыми действиями войск на востоке Белоруссии и в Смоленском сражении. 14 августа 1941 г. был назначен командующим Брянским фронтом, силы которого противодействовали германской танковой армии Гейнца Гудериана на подступах к Москве. В ходе Орловско-Брянской операции штаб и три армии Брянского фронта оказались в окружении. При этом Андрей Еременко сумел сохранить управление окруженных сил и организовал успешный контрудар для прорыва кольца. Во время боя был ранен и эвакуирован самолетом в Москву.
После госпиталя вернулся на фронт в качестве командующего 4-й ударной армией Северо-Западного (с 22 января 1942 г. - Калининского) фронта, однако 20 января 1942 г. при бомбардировке расположения штаба армии вновь был ранен. На этот раз Андрей Еременко отказался от эвакуации и продолжал осуществлять руководство боевыми действиями еще в течение трех недель. За этот срок 4-й ударной армии удалось достичь значительного успеха в ходе Торопецко-Холмской наступательной операции. С середины февраля 1942 г. военачальник находился на лечении в госпитале в Москве.
В августе 1942 г. был назначен командующим войсками Юго-Восточного и Сталинградского фронтов (с 28 сентября 1942 г. - Сталинградский и Донской). После их преобразования возглавил Сталинградский фронт, войска которого принимали активное участие в Сталинградской наступательной операции. 1 января 1943 г. Сталинградский фронт был переименован в Южный и под командованием Андрея Еременко начал наступление на Ростов-на-Дону. В феврале того же года военачальник был вынужден временно оставить службу из-за проблем со здоровьем.
В апреле 1943 г. вернулся в армию и был назначен командующим Калининским фронтом (с 20 октября 1943 г. - 1-й Прибалтийский). Под командованием Еременко были проведены Смоленская, Духовщенско-Демидовская и Невельская наступательные операции.
В феврале - апреле 1944 г. Андрей Еременко командовал Отдельной Приморской армией, удерживавшей Керченский плацдарм. Затем был назначен командующим войсками 2-го Прибалтийского фронта, отличившимися в Рижской наступательной операции.
Указом Президиума Верховного Совета СССР от 29 июля 1944 г. генералу армии Андрею Еременко было присвоено звание Героя Советского Союза с вручением ордена Ленина и медали "Золотая Звезда" ("за умелое руководство войсками и проявленные в боях с немецко-фашистскими захватчиками мужество и героизм").
В марте 1945 г. Андрей Еременко стал командующим войсками 4-го Украинского фронта. Под его руководством была спланирована и проведена Моравска-Остравская наступательная операция. Также соединения фронта участвовали в Пражской наступательной операции.
После Великой Отечественной войны Андрей Еременко последовательно командовал войсками Прикарпатского, Западно-Сибирского и Северо-Кавказского военных округов.
С 1958 г. являлся генеральным инспектором в Группе генеральных инспекторов Министерства обороны СССР.
Андрей Еременко скончался в Москве 19 ноября 1970 г. на 79-м году жизни. Урна с прахом замурована в Кремлевской стене на Красной площади столицы.
Избирался депутатом Верховного Совета СССР в 1946–1970 гг.
Маршал Советского Союза (1955).
Был награжден пятью орденами Ленина (1938, 1944, 1945, 1962, 1967), четырьмя орденами Красного Знамени (1926, 1941, 1944, 1949), тремя орденами Суворова I степени (1943, дважды в 1944), двумя орденами Кутузова I степени (1943), орденом Октябрьской Революции (1968), орденом Отечественной войны I степени (1985), орденом "За службу Родине в Вооруженных Силах СССР" III степени (1975), медалями, Почетным оружием с золотым изображением Государственного герба СССР, а также иностранными наградами.
Герой Чехословацкой Социалистической Республики.
Почетный гражданин Волгограда, Смоленска и др. городов.
Автор книг "Боевые эпизоды. Походы Первой Конной армии" (1957), "Против фальсификации истории второй мировой войны" (1958), "На западном направлении" (1959), "Сталинград" (1961), "В начале войны" (1965), "Годы возмездия. 1943-1945" (1969), "Помни войну" (1971). В 2013 г. его мемуары были изданы отдельной книгой "Дневники, записки, воспоминания. 1939–1946".