Родился 28 сентября 1929 г. в селе Дылеевка Артемовского округа Донецкой области Украины (ныне Донецкая Народная Республика, РФ) в шахтерской семье.
В 1950 г. окончил Краматорский машиностроительный техникум. В 1959 г. без отрыва от производства получил образование в Уральском политехническом институте им. С. М. Кирова (ныне в составе Уральского федерального университета им. первого президента России Б. Н. Ельцина) по специальности "инженер-механик".
Кандидат экономических наук. В 1988 г. в Академии общественных наук при ЦК КПСС защитил диссертацию на тему "Управление качеством промышленной продукции в новых условиях хозяйствования".
По окончании техникума был направлен в Свердловск (ныне Екатеринбург). С 1950 г. работал на Уральском заводе тяжелого машиностроения им. С. Орджоникидзе (с 1971 г. - производственное объединение, ПО). Был сменным мастером, начальником пролета, начальником цеха, главным сварщиком, заместителем директора завода. В 1965-1970 гг. - главный инженер завода, в 1970-1975 гг. - директор ПО "Уралмаш". Объединение было одним из крупнейших машиностроительных предприятий в СССР, специализировалось на производстве бронетехники, выпуске оборудования для черной металлургии, добывающей промышленности и др.
С 1956 по 1991 г. являлся членом Коммунистической партии Советского Союза (КПСС).
В 1975-1979 гг. - первый заместитель министра тяжелого и транспортного машиностроения СССР Владимира Жигалина.
С 1979 по 1982 г. занимал должность первого заместителя председателя Государственного планового комитета (Госплан) при Совете министров СССР. Госплан в этот период возглавлял Николай Байбаков. Ведомство отвечало за общегосударственное планирование развития народного хозяйства СССР и контроль выполнения народно-хозяйственных планов (в том числе пятилетних).
В 1982 г. Николай Рыжков перешел на партийную работу. С 22 ноября 1982 г. по 15 октября 1985 г. был секретарем центрального комитета (ЦК) КПСС, заведующим экономическим отделом ЦК КПСС.
С 23 апреля 1985 г. по 13 июля 1990 г. - член высшего коллегиального органа власти в СССР - политбюро ЦК КПСС.
С 27 сентября 1985 г. по 26 декабря 1990 г. - председатель Совета министров СССР (сменил на этом посту Николая Тихонова). 26 декабря 1990 г. Совмин СССР был ликвидирован, в Конституцию СССР были внесены изменения, согласно которым правительство стало называться "Кабинет министров". До назначения нового главы Кабмина 14 января 1991 г. Николай Рыжков формально продолжал оставаться главой правительства (фактически находился на лечении после обширного инфаркта, который он перенес 26 декабря 1990 г.). Во главе Совмина Рыжков участвовал в разработке концепции реформирования советской экономики. Выступал за постепенный переход к т. н. рыночному социализму, сохранение планового управления экономикой, развитие кооперации. Поддерживал политику Михаила Горбачева, возражал против назначения Бориса Ельцина первым секретарем Московского горкома КПСС. В 1986 г. возглавлял штаб по ликвидации последствий аварии на Чернобыльской АЭС, в 1988 г. – землетрясения в г. Спитаке (Армения).
В 1989-1991 гг. – народный депутат СССР.
После отставки с поста премьера - персональный пенсионер союзного значения (с 1991 г.).
12 июня 1991 г. участвовал в выборах президента РСФСР в паре с первым заместителем министра внутренних дел СССР, народным депутатом СССР генерал-полковником Борисом Громовым (баллотировался на пост вице-президента). Был выдвинут группой избирателей. По итогам голосования пара Рыжков - Громов заняла второе место (16,85% голосов) после Бориса Ельцина и председателя комитета Верховного совета РСФСР полковника Александра Руцкого (57,3%).
В 1992 г. выступал свидетелем со стороны КПСС на процессе в Конституционном суде России по делу о проверке конституционности указов президента Бориса Ельцина, касающихся запрета деятельности компартий СССР и РСФСР.
В 1992-1993 гг. работал экспертом Военно-промышленной инвестиционной компании.
В 1993-1995 гг. - советник, председатель совета директоров Тверьуниверсалбанка. Был также главным советником проекта строительства транснационального газопровода из Северной Якутии в Южную Корею.
В 1995-1999 гг. - депутат Государственной думы РФ II созыва. В ходе избирательной кампании возглавил вместе с Сергеем Бабуриным блок "Власть - народу!". Объединение в парламент не прошло, получив на выборах 17 декабря 1995 г. 1,61% голосов (13-е место среди 43 партий и объединений). Однако Николай Рыжков был избран от блока депутатом нижней палаты парламента по Белгородскому одномандатному округу №62. Набрал 50,86% голосов. Его ближайший соперник, исполнительный директор Совета экономического сотрудничества приграничных областей России и Украины Иван Мирошниченко, получил 7,5%. До 6 марта 1996 г. Рыжков был членом комитета Госдумы по делам СНГ и связям с соотечественниками, затем - комитета по конверсии и наукоемким технологиям. Входил в совет Государственной думы РФ. В 1996-1999 гг. - руководитель депутатской группы "Народовластие".
В 1996-1998 гг. - председатель исполкома Народно-патриотического союза России (НПСР), в 1998-2000 гг. - сопредседатель НПСР.
С 1998 по 2011 г. возглавлял Координационный совет содействия отечественным товаропроизводителям (Российский союз товаропроизводителей). Затем был почетным президентом Российского союза товаропроизводителей.
В 1999-2003 гг. – депутат Госдумы РФ III созыва. Был выдвинут группой избирателей по Белгородскому одномандатному округу №62. На выборах 19 декабря 1999 г. набрал 51,66% голосов (второе место заняла журналист Ольга Китова - 16,49%). В госдуме входил в комитет по энергетике, транспорту и связи, не состоял во фракциях и депутатских группах. Полномочия были прекращены досрочно 17 сентября 2003 г. в связи с переходом в Совет Федерации.
С сентября 2003 г. по сентябрь 2023 г. - член Совета Федерации РФ (сенатор), 20 лет представлял в верхней палате российского парламента администрацию Белгородской области. С 2003 по 2011 г. входил в состав комитета СФ по вопросам местного самоуправления, с 2011 по 2023 г. - по федеративному устройству, региональной политике, местному самоуправлению и делам Севера. В 2006-2011 гг. был председателем комиссии Совфеда по естественным монополиям. Являлся одним из старейших сенаторов (после представителя Москвы Владимира Долгих, срок полномочий - 2013-2018 гг., годы жизни - 1924-2020 гг.). 25 сентября 2023 г. полномочия 94-летнего Николая Рыжкова как сенатора были прекращены досрочно. По словам Рыжкова, после ухода из состава СФ он был намерен продолжить работу в качестве советника председателя Совета Федерации Валентины Матвиенко.
28 февраля 2024 г. стало известно, что Николай Рыжков скончался в возрасте 94 лет.
Избирался депутатом Верховного совета СССР XIX, XX, XXI созывов (1979-1989), Верховного совета РСФСР XXI созыва (1985-1990).
Был президентом международного общественного объединения "Евразия", председателем Московского интеллектуально-делового клуба.
Возглавлял попечительский совет музея-заповедника "Прохоровское поле" (с 1993 г.).
Герой Труда РФ (2019). Был награжден двумя орденами Ленина (1974, 1976), двумя орденами Трудового Красного Знамени (1966, 1979), орденами Октябрьской Революции (1971), Отечественной войны I степени (1985), Почета (2013), "За заслуги перед Отечеством" I и IV степеней (2014, 2004), медалью П. А. Столыпина I и II степеней (2014, 2019). Отмечен Почетной грамотой правительства РФ (1999), благодарностью и Почетной грамотой президента РФ (2008, 2009).
Дважды лауреат Государственной премии СССР в области техники 1969 и 1979 гг.
Присвоено звание национального героя Армении с вручением ордена Отечества (2008). Награжден орденом князя Ярослава Мудрого V степени (Украина, 2004).
Почетный гражданин Белгородской области, гг. Спитака и Гюмри (Армения) и др. В Спитаке установлен прижизненный памятник Николаю Рыжкову (1998), в Гюмри в его честь названа улица. Памятник политику есть также в п. Прохоровка Белгородской области, он установлен перед зданием библиотеки имени Николая Рыжкова (2009). Авторы памятников - скульпторы Микаэль и Ваге Согоян.
Николаю Рыжкову принадлежали шесть изобретений в области сварки и металлургии. Он являлся автором монографий в области машиностроения и экономики, мемуарно-публицистических книг "Перестройка: серия предательств" (1992), "Я из партии по имени "Россия" (1995), "Десять лет великих потрясений" (1995), "Возвращение в политику" (1998), "Размышления о прошлом, настоящем и будущем" (2012).