Родился 21 августа 1904 г. (по старому стилю 8 августа) в г. Скопине Рязанской губернии в семье рабочего. В 7-летнем возрасте остался круглым сиротой.
В 1926 г. окончил 1-я Советскую объединенную военную школу Рабоче-крестьянской Красной Армии им. Всероссийского центрального исполнительного комитета (ныне - Московское высшее военное командное училище), в 1929 г. - 2 курса Вечернего рабочего университета, в 1937 г. - Военную академию им. М.В. Фрунзе с дипломом I степени.
Был сельскохозяйственным рабочим в Скопинской коммуне, в 1919-1921 гг. – лесозаготовителем в Скопинском железнодорожном комитете, затем лесорубом на Урале.
В 1922 г. вступил добровольцем в Красную армию. Был командиром взвода, роты, начальником штаба учебного батальона, командиром батальона, штаба стрелковой дивизии, отдела в штабе Харьковского военного округа.
С августа 1939 г. - командир 132-й стрелковой дивизии, дислоцированной в Полтаве (Украина).
4 июня 1940 г. ему было присвоено звание генерал-майора.
В начале Великой Отечественной войны командовал 132-й дивизией, входившей в состав войск Юго-Западного и Брянского фронтов. Трижды выходил из окружения.
В мае-ноябре 1942 г. – начальник штаба 48-й армии Брянского фронта.
С декабря 1942 г. по апрель 1943 г. - начальник штаба 2-й гвардейской армии Сталинградского (впоследствии Южного) фронта. Принимал участие в подготовке и планировании операции по разгрому группировки Эриха фон Манштейна. Затем был назначен начальником штаба Южного (с 20 октября 1943 г. - 4-го Украинского) фронта, которым командовал генерал армии Федор Толбухин.
Участвовал в разработке и проведении операций по освобождению Донбасса (Донбасская наступательная операция, 13 августа-22 сентября 1943 г.), Перекопского перешейка и низовьев Днепра (Мелитопольская, 26 сентября-5 ноября 1943 г.), а также Никопольско-Криворожской (30 января-29 февраля 1944 г.) и Крымской (8 апреля-12 мая 1944 г.) наступательных операциях.
С мая 1944 г. в течение полугода был начальником штаба 3-го Украинского фронта. В этот период участвовал в планировании и осуществлении Ясско-Кишиневской операции (20-29 августа 1944 г.), закончившейся освобождением Молдавии и вывода из войны Румынии.
С октября 1944 г. по май 1946 г. – командующий 37-й армией 3-го Украинского фронта (с 15 декабря 1944 г. - 37-я отдельная армия). Одновременно, после перехода Болгарии на сторону антигитлеровской коалиции, являлся главным военным советником при болгарской армии и заместителем председателя Союзной контрольной миссии в Болгарии. Принимал участие в освобождении Югославии.
В ходе боев получил 5 ранений, в том числе два тяжелых.
После окончания Великой Отечественной войны был заместителем главнокомандующего Сухопутными войсками по боевой подготовке (май-июнь 1946 г.), заместителем главнокомандующего и командующим 10-й механизированной армией (1946-1947 гг.).
В 1947 г. был назначен командующим войсками Приморского военного округа.
С 1953 г. - главнокомандующий Центральной группой войск.
В 1954 г. занимал должность первого заместителя главнокомандующего войск Противовоздушной обороны.
С 1955 г. по 1962 г. был главнокомандующим Войск ПВО - заместителем министра обороны СССР.
Одновременно с января 1956 г. являлся заместителем главнокомандующего Объединенными Вооруженными силами государств – участников Варшавского Договора – командующим войсками ПВО Объединенных вооруженных сил.
В 1962 г. был назначен главнокомандующим Ракетными войсками стратегического назначения (РВСН) – заместителем министра обороны СССР.
С марта 1963 г. по октябрь 1964 г. занимал пост начальника Генерального штаба Вооруженных Сил СССР – 1-го заместителя министра обороны СССР.
Погиб 19 октября 1964 г. в авиационной катастрофе вблизи Белграда (бывш. Югославия, ныне Сербия), куда летел на празднование освобождения города от немецких оккупантов. Прах захоронен в Кремлевской стене на Красной площади в Москве.
Избирался депутатом Верховного Совета СССР 2, 4 и 6 созывов (1946-50, 1954-58, 1962-64).
Маршал Советского Союза (1955).
Герой Советского Союза (1958). Награжден пятью орденами Ленина (1942, 1947, 1954, 1958, 1964), тремя орденами Красного Знамени (1944, 1944, 1953), орденами Суворова I и II степеней, Кутузова I степени, Богдана Хмельницкого I степени, медалями.
Имел награды иностранных государств. Народный герой Югославии (посмертно).
Автор и редактор ряда военно-научных работ. Автор воспоминаний "Когда гремели пушки", "Священный долг", "Советский солдат на Балканах" и др.
Был женат, супруга - Юлия Ивановна. В браке родились две дочери - Валентина (1931) и Ольга (1935), сын Сергей (1946).