Родился 15 августа 1919 г. в Петрограде (в 1924-1991 гг. - Ленинград, ныне - Санкт-Петербург). Отец, Никита Назарович Ковалев, был офицером Российского императорского флота, после Октябрьской революции 1917 г. служил в морских силах Рабоче-крестьянской Красной армии. Был автором двух учебников по минному делу, ряда статей по радиосвязи и радиопеленгации.
В 1937-1942 гг. Сергей Ковалев учился в Ленинградском кораблестроительном институте (ныне - Санкт-Петербургский государственный морской технический университет). В 1942 г. был эвакуирован из блокадного Ленинграда. Весной 1943 г. в гор. Пржевальске (ныне - Каракол, Киргизия), защитил диплом Николаевского кораблестроительного института и получил звание инженера-кораблестроителя.
Доктор технических наук (1973), действительный член Академии наук СССР (1981, отделение энергетики, машиностроения, механики и процессов управления).
После окончания кораблестроительного института был направлен на работу в находившееся в эвакуации в Горьком (ныне - Нижний Новгород) Центральное конструкторское бюро №18 (в настоящее время - АО "Центральное конструкторское бюро морской техники "Рубин", Санкт-Петербург). Последовательно занимал посты инженера, конструктора I разряда, старшего конструктора.
В 1947 г. в составе большой группы сотрудников ЦКБ-18 находился в командировке в г. Бланкенбурге (Германия), где изучал немецкие технологии строительства парогазовых турбинных установок для подводных лодок.
В 1948 г. был переведен в Специальное конструкторское бюро №143 (СКБ-143, ныне - АО "Санкт-Петербургское морское бюро машиностроения "Малахит"). В 1948 г. в качестве помощника, заместителя, затем главного конструктора руководил разработкой и постройкой подводной лодки проекта 617 с парогазовой турбинной установкой. На испытаниях этой субмарины впервые в СССР была достигнута скорость подводного хода 20 узлов (около 37 км/ч).
С мая 1953 г. Ковалев продолжал работу в ЦКБ-18, куда была переведена группа конструкторов СКБ-143, задействованных над проектом 617. Занимал посты заместителя главного конструктора, главного конструктора проектов, в 1958-1983 гг. - главного конструктора предприятия, которое с 1966 г. носило название Ленинградское проектно-монтажное бюро "Рубин".
Сергей Ковалев участвовал в разработке первой советской атомной подводной лодки с баллистическими ракетами (проект 658). В 1958 г. возглавил работы по созданию атомной торпедной подводной лодки проекта 627. Впоследствии был главным и генеральным конструктором всех советских атомных субмарин, вооруженных баллистическими ракетами (проекты 667А/АУ, 667Б, 667БД, 667БДР и 667БДРМ). С 1971 г. руководил проектированием и постройкой атомных подводных крейсеров проекта 941 (шифр "Акула") с твердотопливными баллистическими ракетами. По состоянию на 2019 г. это самая большая подводная лодка в мире (подводное водоизмещение - 48 тыс. т).
В 1983 г. Сергею Ковалеву и другому конструктору подводных лодок ЛПМБ "Рубин", Игорю Спасскому, впервые в советской судостроительной промышленности было присвоено звание генерального конструктора.
С 1994 г. академик Ковалев принимал участие в работах по созданию ледостойких нефтегазовых платформ для шельфовых месторождений. В последние годы жизни участвовал в проектировании и строительстве серии атомных субмарин с баллистическими ракетами проекта 955 "Борей".
Всего по восьми проектам Сергея Ковалева были построены 92 подводных лодки суммарным водоизмещением около 900 тыс. т.
Жил и работал в Санкт-Петербурге. Скончался 24 февраля 2011 г. на 92-м году жизни. Похоронен на Красненьком кладбище Санкт-Петербурга.
С 1984 г. занимал пост заместителя председателя президиума Ленинградского научного центра АН СССР. Избирался депутатом Верховного Совета СССР (11 созыв, 1984-1989).
Увлекался пейзажной живописью, был почетным членом Союза художников Санкт-Петербурга. В 2000-х гг. были изданы альбомы его живописных работ.
Сергей Ковалев был дважды удостоен почетного звания Героя Социалистического Труда (1963, 1974), являлся лауреатом Ленинской премии (1965, за разработку проекта 658М), Государственной премии СССР (1978, за проект 667БДР), Государственной премии РФ в области науки и технологий (2007; за разработку, создание и развитие трех поколений атомных подводных ракетоносцев). Был награжден четырьмя орденами Ленина (1963, 1970, 1974, 1984), орденами Октябрьской революции (1979), "За заслуги перед Отечеством" II степени (1999), "За морские заслуги" (2003), медалями.
Был автором более 150 научных трудов в области проектирования, теории подводного кораблестроения и строительной механики кораблей, а также автобиографии "О том, что есть и было..." (2006) и детской книги с авторскими рисунками "Письма внукам" (2007).
Бюст академика Ковалева был открыт в 1985 г. на Аллее Героев Московского парка Победы в Ленинграде, памятные доски установлены на здании ЦКБМТ "Рубин" и в здании Военно-морской академии им. Адмирала флота Советского Союза Н. Г. Кузнецова (Санкт-Петербург), где также действует именная аудитория академика. В честь инженера-конструктора названы набережная в Северодвинске (Архангельская обл.) и морской транспорт вооружения проекта 20180ТВ (в строю на Тихоокеанском флоте с 2015 г.). Его жизни и работе посвящены книги "Академик Сергей Никитич Ковалев" (Виктор Семенов, 1999), "Ученый. Конструктор. Человек" (коллектив авторов, 2013).
Сергей Ковалев был женат на Тамаре Васильевне Ковалевой (урожденная Урвачева), сотруднице Центрального НИИ военного кораблестроения. Сын - Алексей.