Родился 28 сентября 1929 г. в с. Дылеевке Артемовского округа Донецкой области Украины (ныне Донецкая Народная Республика, РФ) в шахтерской семье.
В 1950 г. окончил Краматорский машиностроительный техникум. В 1959 г. без отрыва от производства окончил Уральский политехнический институт им. С. М. Кирова (ныне в составе Уральского федерального университета им. первого президента России Б. Н. Ельцина) по специальности "инженер-механик".
Кандидат экономических наук. В 1988 г. в Академии общественных наук при ЦК КПСС защитил диссертацию на тему "Управление качеством промышленной продукции в новых условиях хозяйствования".
По окончании техникума был направлен в Свердловск (ныне Екатеринбург). С 1950 г. работал на Уральском заводе тяжелого машиностроения им. С. Орджоникидзе (с 1971 г. - производственное объединение, ПО). Был сменным мастером, начальником пролета, начальником цеха, главным сварщиком, заместителем директора завода. В 1965-1970 гг. - главный инженер завода, в 1970-1975 гг. - директор ПО "Уралмаш". Объединение было одним из крупнейших машиностроительных предприятий в СССР, специализировалось на производстве бронетехники, выпуске оборудования для черной металлургии, добывающей промышленности и др.
С 1956 по 1991 г. являлся членом Коммунистической партии Советского Союза (КПСС).
В 1975-1979 гг. - первый заместитель министра тяжелого и транспортного машиностроения СССР Владимира Жигалина.
С 1979 по 1982 г. занимал должность первого заместителя председателя Государственного планового комитета (Госплан) при Совете министров СССР. Госплан в этот период возглавлял Николай Байбаков. Ведомство отвечало за общегосударственное планирование развития народного хозяйства СССР и контроль выполнения народнохозяйственных планов (в том числе пятилетних).
В 1982 г. Николай Рыжков перешел на партийную работу. С 22 ноября 1982 г. по 15 октября 1985 г. был секретарем центрального комитета (ЦК) КПСС, заведующим экономическим отделом ЦК КПСС.
С 23 апреля 1985 г. по 13 июля 1990 г. - член высшего коллегиального органа власти в СССР - политбюро ЦК КПСС.
С 27 сентября 1985 г. по 26 декабря 1990 г. - председатель Совета министров СССР (сменил на этом посту Николая Тихонова). Участвовал в разработке концепции реформирования советской экономики. Выступал за постепенный переход к т. н. рыночному социализму, сохранение планового управления экономикой, развитие кооперации. Поддерживал политику Михаила Горбачева, возражал против выдвижения Бориса Ельцина первым секретарем Московского горкома КПСС. В 1986 г. возглавлял штаб по ликвидации последствий аварии на Чернобыльской АЭС, в 1988 г. – землетрясения в г. Спитаке (Армения).
Персональный пенсионер союзного значения с 1991 г.
12 июня 1991 г. участвовал в выборах президента РСФСР в паре с первым заместителем министра внутренних дел СССР, народным депутатом СССР генерал-полковником Борисом Громовым (баллотировался на пост вице президента). Был выдвинут группой избирателей. По итогам голосования пара Рыжков - Громов заняла второе место (16,85% голосов) после Бориса Ельцина и председателя комитета Верховного совета РСФСР полковника Александра Руцкого (57,3%).
В 1992 г. выступал свидетелем со стороны КПСС на процессе в Конституционном суде России по делу о проверке конституционности указов президента Бориса Ельцина, касающихся запрета деятельности компартий СССР и РСФСР.
В 1992-1993 гг. работал экспертом Военно-промышленной инвестиционной компании.
В 1993-1995 гг. - советник, председатель совета директоров Тверьуниверсалбанка. Был также главным советником проекта строительства транснационального газопровода из Северной Якутии в Южную Корею.
В 1995-1999 гг. - депутат Государственной думы РФ II созыва. В ходе избирательной кампании возглавил вместе с Сергеем Бабуриным блок "Власть - народу!". Объединение в парламент не прошло, получив на выборах 17 декабря 1995 г. 1,61% голосов (13-е место среди 43 партий и объединений). Однако Николай Рыжков был избран депутатом нижней палаты парламента по Белгородскому одномандатному округу №62 (от блока "Власть - народу!"). Набрал 50,86% голосов. Его ближайший соперник, исполнительный директор Совета экономического сотрудничества приграничных областей России и Украины Иван Мирошниченко, получил 7,5%. До 6 марта 1996 г. Рыжков был членом комитета Госдумы по делам СНГ и связям с соотечественниками, затем - комитета по конверсии и наукоемким технологиям. Входил в совет Государственной думы РФ. В 1996-1999 гг. - руководитель депутатской группы "Народовластие".
В 1996-1998 гг. - председатель исполкома Народно-патриотического союза России (НПСР), в 1998-2000 гг. - сопредседатель НПСР.
С 1998 по 2011 г. возглавлял Координационный совет содействия отечественным товаропроизводителям (Российский союз товаропроизводителей). В настоящее время - почетный президент Российского союза товаропроизводителей.
В 1999-2003 гг. – депутат Госдумы РФ III созыва. Был выдвинут группой избирателей по Белгородскому одномандатному округу №62. На выборах 19 декабря 1999 г. набрал 51,66% голосов (второе место заняла журналист Ольга Китова - 16,49%). В Думе входил в комитет по энергетике, транспорту и связи, не состоял во фракциях и депутатских группах. Полномочия были прекращены досрочно 17 сентября 2003 г. в связи с переходом в Совет Федерации.
С сентября 2003 г. - член Совета Федерации РФ, представитель от исполнительной власти Белгородской области (переназначался в 2012, 2017, 2021 гг.). В 2006-2011 гг. был председателем комиссии Совфеда по естественным монополиям. Член комитета по федеративному устройству, региональной политике, местному самоуправлению и делам Севера. Старейший член Совета Федерации РФ.
Избирался депутатом Верховного совета СССР XIX, XX, XXI созывов (1979-1989), Верховного совета РСФСР XXI созыва (1985-1990). В 1989-1991 гг. – народный депутат СССР.
Был президентом международного общественного объединения "Евразия", председателем Московского интеллектуально-делового клуба.
Возглавляет попечительский совет музея-заповедника "Прохоровское поле" (с 1993 г.).
Герой труда РФ (2019). Награжден двумя орденами Ленина (1974, 1976), двумя орденами Трудового Красного Знамени (1966, 1979), орденами Октябрьской Революции (1971), Отечественной войны I степени (1985), Почета (2013), "За заслуги перед Отечеством" I и IV степеней (2014, 2004), медалью П. А. Столыпина I и II степеней (2014, 2019). Отмечен Почетной грамотой правительства РФ (1999), благодарностью и Почетной грамотой президента РФ (2008, 2009).
Дважды Лауреат Государственной премии СССР в области техники 1969 и 1979 гг.
Присвоено звание национального героя Армении с вручением ордена Отечества (2008). Награжден орденом князя Ярослава Мудрого V степени (Украина, 2004).
Почетный гражданин Белгородской области, гг. Спитака и Гюмри (Армения), гг. Краматорска и Дзержинска (ДНР, РФ).
Николаю Рыжкову принадлежат шесть изобретений в области сварки и металлургии. Он является автором монографий в области машиностроения и экономики, мемуарно-публицистических книг "Перестройка: серия предательств" (1992), "Я из партии по имени "Россия" (1995), "Десять лет великих потрясений" (1995), "Возвращение в политику" (1998), "Размышления о прошлом, настоящем и будущем" (2012).