Родился 17 октября 1903 г. (4 октября по старому стилю) в слободе Голодаевка Таганрогского округа Области войска Донского (ныне село Куйбышево Куйбышевского района Ростовской области) в крестьянской семье.
В 1926 г. окончил Северо-Кавказскую горских национальностей кавалерийскую школу (Краснодар), в 1936 г. - Военную академию им. М. В. Фрунзе (Москва), в 1941 г. - Академию Генерального штаба Рабоче-крестьянской Красной армии (РККА) им. К. Е. Ворошилова (Москва).
Андрей Гречко участвовал в Гражданской войне 1917-1922 гг. на стороне Красной армии. С декабря 1919 г. служил рядовым в 11-й кавалерийской дивизии 1-й Конной армии, с февраля 1920 г. - в отряде им. М. В. Кривошлыкова, с сентября 1921 г. - в батальоне частей особого назначения Таганрога. Принимал участие в боях против Вооруженных сил Юга России генерал-лейтенанта Антона Деникина и вооруженных формирований Нестора Махно.
С июля 1922 г. учился на Крымских кавалерийских курсах им. ВЦИК, затем с августа 1923 г. - в Таганрогской кавалерийской школе Северо-Кавказского военного округа. В сентябре 1924 г. был переведен в Северо-Кавказскую горских национальностей кавалерийскую школу, где был курсантом и старшиной эскадрона. В составе отряда курсантов участвовал в боевых действиях против бандформирований в Чечне и Дагестане.
В 1926-1932 гг. командовал взводом, затем пулеметным эскадроном 61-го кавалерийского полка 1-й отдельной кавалерийской бригады Московского военного округа. В 1928 г. вступил во Всесоюзную коммунистическую партию (большевиков) (с 1952 г.- Коммунистическая партия Советского Союза, КПСС).
В 1936-1938 гг. - помощник начальника 1-й части штаба Особой кавалерийской дивизии им. И. В. Сталина в Московском военном округе, затем командир 62-го кавалерийского полка.
С мая 1938 г. - помощник начальника штаба, с октября 1938 г. - начальник штаба Особой кавалерийской дивизии им. И. В. Сталина в Белорусском военном округе. Участник похода Красной армии в Западную Белоруссию в 1939 г.
В начале Великой Отечественной войны 1941-1945 гг. служил в оперативном управлении Генштаба РККА. В июле 1941 г. ему было присвоено звание полковника.
С июля 1941 г. командовал 34-й кавалерийской дивизией, участвовал в боях в районе Киева и на Левобережной Украине в составе 26-й, 38-й и 6-й армий. С ноября 1941 г. – генерал-майор.
С января 1942 г. командовал 5-м кавалерийским корпусом, с марта 1942 г. - группой войск Южного фронта. Участвовал в неудачной Барвенково-Лозовской наступательной операции РККА.
В апреле - сентябре 1942 г. - командующий 12-й армией Южного фронта, которая сначала действовала на ворошиловградском направлении, а затем вела бои, отступая с Донбасса на Северный Кавказ в район г. Горячий Ключ (ныне в Краснодарском крае). Армию расформировали в сентябре 1942 г.
В сентябре - октябре 1942 г. Андрей Гречко командовал 47-й армией Черноморской группы войск Закавказского фронта, одновременно занимая должность командующего Новороссийским оборонительным районом.
В октябре 1942 г. – январе 1943 г. – командующий 18-й армией Закавказского фронта, которая оборонялась на туапсинском направлении.
С 8 января по 20 октября 1943 г. командовал 56-й армией Закавказского фронта, которая участвовала в Краснодарской и Новороссийско-Таманской наступательных операциях. С апреля 1943 г. – генерал-лейтенант, с октября 1943 г. – генерал-полковник.
В октябре - декабре 1943 г. был заместителем командующего 1-м Украинским фронтом Николая Ватутина.
С декабря 1943 г. по май 1945 г. Андрей Гречко командовал 1-й гвардейской армией, действовавшей до конца войны в составе 1-го и 4-го украинских фронтов. Участвовал в Проскурово-Черновицкой, Львовско-Сандомирской, Восточно-Карпатской, Западно-Карпатской, Моравско-Остравской и Пражской наступательных операциях.
С 9 июля 1945 г. по 26 мая 1953 г. - командующий войсками Киевского военного округа.
В 1946-1950 и 1954-1976 гг. - депутат Верховного Совета СССР II и IV-IX созывов.
В 1952-1961 гг. - кандидат в члены центрального комитета (ЦК) КПСС. В 1961-1976 гг. - член ЦК КПСС.
С 26 мая 1953 г. по 12 ноября 1957 г. - главнокомандующий Группой советских войск в Германии. В августе 1953 г. ему было присвоено звание генерала армии, в марте 1955 г. - маршала Советского Союза.
С 12 ноября 1957 г. по 7 апреля 1960 г. - первый заместитель министра обороны СССР - главнокомандующий Сухопутными войсками. Главой Минобороны СССР в этот период был Родион Малиновский.
С 7 апреля 1960 г. по 12 апреля 1967 г. Андрей Гречко занимал должности первого заместителя министра обороны СССР и главнокомандующего Объединенными вооруженными силами государств - участников Варшавского договора.
С 12 апреля 1967 г. и до конца жизни занимал пост министра обороны СССР (сменил в должности Родиона Малиновского). В 1968 г. был одним из организаторов ввода войск стран Организации Варшавского договора в Чехословакию.
В 1973-1976 гг. входил в состав политбюро ЦК КПСС – де-факто высшего органа власти в СССР.
Андрей Гречко скончался 26 апреля 1976 г. в Москве. Его прах был захоронен в Кремлевской стене на Красной площади столицы.
Маршал Советского Союза (1955).
Дважды Герой Советского Союза (1958, 1973). Был награжден шестью орденами Ленина (1942, 1945, 1958, 1963, 1968, 1973), тремя орденами Красного Знамени (1941, 1944, 1950), орденами Суворова I (1944, 1945) и II (1943) степеней, двумя орденами Кутузова I степени (1943, 1944), орденом Богдана Хмельницкого I степени (1944).
Герой Чехословацкой Социалистической Республики (1969). Имел 41 иностранную награду.
Автор книг воспоминаний "Битва за Кавказ" (1967), "Через Карпаты" (1970), "Годы войны. 1941-1943" (1976).
Супруга Андрея Гречко - Клавдия Владимировна (Акентьева, 1907-1990), дочь - Татьяна Андреевна (1927-2002).