Родился 1 декабря 1936 г. в селе Куракино Пензенской области в крестьянской семье.
В 1957 г. окончил Орловское бронетанковое училище им. М.В. Фрунзе, в 1970 г. с золотой медалью - Военную академию бронетанковых войск им. Маршала Советского Союза Р.Я. Малиновского, в 1980 г. - с отличием Военную академию Генерального штаба Вооруженных сил СССР.
С 1957 г. служил в танковых войсках в Группе советских войск в Германии.
С 1963 г. - командир танковой роты, заместитель командира танкового батальона Московского военного округа, с 1970 г. - командир мотострелкового полка, заместитель командира, командир дивизии Прикарпатского военного округа.
В 1980-1983 гг. проходил службу в составе Центральной группы войск (Чехословакия).
С 1983 г. по 1985 г. - командующий общевойсковой армией Дальневосточного военного округа.
В 1985-1986 гг. командовал 40-й армией Туркестанского военного округа (Ограниченный контингент советских войск в Афганистане).
С 1986 по 1988 г. - первый заместитель командующего войсками Московского военного округа.
В 1988-1989 гг. - командующий войсками Закавказского военного округа (ЗакВО), военный комендант г. Тбилиси.
В 1989 г. был избран народным депутатом СССР.
С 1989 по 1996 г. - начальник Военной академии Генерального штаба Вооруженных сил СССР/РФ.
17 июля 1996 г. был назначен министром обороны РФ в правительстве Виктора Черномырдина. 11 декабря 1996 г. уволен с военной службы по возрасту с сохранением поста главы военного ведомства. 22 мая 1997 г. президент России Борис Ельцин освободил Родионова от должности министра обороны.
С 1999 по 2007 г. - депутат Государственной думы РФ III-IV созывов. В 1999-2003 гг. - член фракции КПРФ. С 2003 по 2007 г. входил во фракцию "Справедливая Россия - "Родина" (народно-патриотический союз)".
С 2002 г. возглавлял Народно-патриотическую партию России. С 2007 г. был членом партии "Справедливая Россия".
Скончался 19 декабря 2014 г. в Москве после тяжелой и продолжительной болезни. Похоронен на Федеральном военном мемориальном кладбище в Мытищинском районе Московской области.
Генерал армии (1996).
Награжден орденами Красного Знамени, Красной Звезды, "За службу Родине в Вооруженных Силах СССР" II и III степени.