Родился 13 ноября 1954 г. в г. Вольске Саратовской области.
В 1977 г. окончил Вольский технологический техникум, в 1984 г. Ульяновский политехнический институт (ныне - Ульяновский государственный технический университет) с присвоением квалификации "инженер-электрик", в 2003 г. - Финансовую академию при правительстве РФ, получив квалификацию экономиста по специальности "бухгалтерский учет и аудит".
Доктор экономических наук. В 2003 г. в Институте экономики Российской академии наук защитил диссертацию на соискание степени кандидата экономических наук на тему "Современные тенденции и механизмы повышения эффективности бюджетного финансирования и контроля целевых региональных программ". В 2007 г. защитил докторскую диссертацию "Методология аудита эффективности использования бюджетных средств и государственной собственности в современных условиях" в Институте экономики РАН.
С 1973 по 1975 г. проходил срочную военную службу на космодроме Байконур.
С 1976 г. работал электромонтером в конструкторском бюро "Электроприбор" в Саратове, в 1977-1979 гг. – на строящемся заводе "Искра" в Ульяновске.
В 1979-1990 гг. - электромонтер, инженер, главный энергетик завода крупнопанельного домостроения Ульяновского домостроительного комбината. Осенью 1987 г. на базе комбината было образовано проектно-строительное объединение "Ульяновскпроектстрой". В 1988 г. Сергей Рябухин был избран секретарем парткома объединения.
В 1990 г. назначен заведующим отдела Ульяновского областного комитета КПСС. Одновременно в 1990-1991 гг. - депутат Ульяновского городского совета народных депутатов.
В 1992-1996 гг. - начальник управления внешнеэкономических связей администрации Ульяновской области, заместитель главы администрации региона Юрия Горячева.
В декабре 1995 г. был избран депутатом Законодательного собрания Ульяновской области I созыва. В январе 1996 г. стал председателем областного парламента. Депутатские полномочия сложил в ноябре 2001 г.
В 1996-2001 гг. - член Совета Федерации Федерального собрания РФ - представитель от законодательного органа государственной власти Ульяновской области. Входил в состав сенатского комитета по науке, культуре, образованию, здравоохранению и экологии, в 1996-1998 гг. был заместителем председателя данного комитета. Также возглавлял временную комиссию Совета Федерации по молодежной политике.
24 декабре 2000 г. баллотировался на пост губернатора Ульяновской области. По итогам голосования занял третье место (11,54%), уступив бывшему командующему группировкой войск Минобороны РФ в Чечне Герою РФ Владимиру Шаманову (56,26%) и действующему губернатору области Юрию Горячеву (23,58%).
В 2001-2013 гг. - аудитор Счетной палаты РФ. Был назначен на должность 29 июня 2001 г. постановлением Совета Федерации (переназначался 21 февраля 2007 г. и 18 июля 2012 г.). В СП курировал контроль расходов федерального бюджета на промышленность, энергетику, строительство, дорожное хозяйство и транспорт.
С 2001 г. был президентом общероссийской общественной организации "Федерация кёкушин каратэ России", с 2004 г. - первым президентом общероссийской ассоциации общественных объединений "Ассоциация киокусинкай России".
8 сентября 2013 г. он был избран депутатом Законодательного собрания Ульяновской области V созыва от партии "Единая Россия" (третий номер в общей части партийного списка). Избирался в заксобрание региона в 2018 и 2023 гг. по списку "Единой России", складывал полномочия в связи с переходом в Совет Федерации.
С 2013 г. - член Совета Федерации (сенатор) - представитель от законодательного органа государственной власти Ульяновской области (был наделен полномочиями 20 сентября 2013 г., 19 сентября 2018 г., 24 сентября 2023 г.). С 30 октября 2013 г. по 25 сентября 2019 г. - председатель комитета Совфеда по бюджету и финансовым рынкам. С 25 сентября 2019 г. - первый заместитель председателя комитета Совета Федерации по бюджету и финансовым рынкам.
Награжден орденами Александра Невского (2020), Дружбы (2005), Почета (2009), "За заслуги перед Отечеством" IV степени (2014), а также орденами Святого Сергия Радонежского и Святого благоверного князя Даниила Московского III степени Русской православной церкви. Имеет благодарность правительства РФ (2016).
Почетный гражданин гг. Ульяновска (2006) и Мурома (2006; Владимирская область).
Автор монографий "Федеральные целевые программы развития регионов страны" (2002), "Аудит эффективности государственных ресурсов" (2004), а также учебных пособий.