Родился 31 января 1953 г. в Ленинграде (ныне Санкт-Петербург).
В 1975 г. окончил переводческое отделение филологического факультета Ленинградского государственного университета им. А. А. Жданова (ныне Санкт-Петербургский государственный университет), в 1976 г. - Высшие курсы Комитета государственной безопасности СССР в Минске, в 1981 г. - Краснознаменный институт КГБ СССР (ныне Академия внешней разведки).
В 1975 г. работал стажером-преподавателем Ленинградского высшего инженерно-морского училища.
Затем был сотрудником управления КГБ СССР по Ленинградской области, где познакомился с будущим президентом РФ Владимиром Путиным.
С 1981 по 1991 г. служил в системе Первого главного управления (внешняя разведка; ПГУ) КГБ СССР, начинал службу с должности оперуполномоченного.
В 1991-1998 гг. продолжал работу в Службе внешней разведки РФ (СВР России), которая была создана в декабре 1991 г. на базе ПГУ КГБ СССР. В 1998 г. занимал должность первого заместителя начальника одного из управлений СВР. В период службы в советской и российской внешней разведке находился в длительных зарубежных командировках в Финляндии и Кении, также некоторое время работал в Великобритании.
С августа 1998 г. по ноябрь 1999 г. - заместитель директора Федеральной службы безопасности (ФСБ) РФ - начальник департамента анализа, прогноза и стратегического планирования ФСБ. Работал под руководством Владимира Путина, который с июля 1998 г. по август 1999 г. возглавлял ФСБ.
С 15 ноября 1999 г. по 28 марта 2001 г. - секретарь Совета безопасности РФ. Сменил на этом посту Владимира Путина.
9 ноября 2000 г. был уволен с военной службы.
28 марта 2001 г. Сергей Иванов был назначен министром обороны РФ (сменил на этом посту Игоря Сергеева). С 14 ноября 2005 г. по 15 февраля 2007 г. - заместитель председателя правительства РФ - министр обороны РФ (кабинет министров в это время возглавлял Михаил Фрадков).
С 26 апреля 2001 г. по 25 мая 2008 г. являлся постоянным членом Совета безопасности РФ.
С 15 февраля 2007 г. - первый заместитель председателя правительства РФ (премьер-министром РФ был Михаил Фрадков, с октября 2007 г. - Виктор Зубков). Занимал пост до мая 2008 г.
С 12 мая 2008 г. по 22 декабря 2011 г. Сергей Иванов являлся заместителем председателя правительства РФ Владимира Путина. Курировал вопросы промышленности, в том числе оборонной и атомной, транспорта, связи, науки и др.
С 22 декабря 2011 г. по 12 августа 2016 г. - руководитель Администрации президента РФ (до мая 2012 г. пост главы государства занимал Дмитрий Медведев, с мая 2012 г. - Владимир Путин). Во главе администрации Сергей Иванов сменил Сергея Нарышкина.
С 24 декабря 2011 г. по настоящее время - постоянный член Совета безопасности РФ.
С 12 августа 2016 г. - специальный представитель президента РФ по вопросам природоохранной деятельности, экологии и транспорта.
Одновременно с января 2017 г. является председателем наблюдательного совета Российского фонда прямых инвестиций.
Член наблюдательного совета госкорпорации "Ростех" (с 2017 г.).
Председатель попечительского совета Российского военно-исторического общества (с 2019 г.).
Почетный президент баскетбольной Единой лиги ВТБ.
Занимал посты председателя Морской коллегии при правительстве РФ (2005-2011), Военно-промышленной комиссии при правительстве РФ (2006-2011), советов директоров ОАО "Объединенная авиастроительная корпорация" (2006-2011) и компании "Ростелеком" (2015-2024).
Являлся членом президиума Совета при президенте РФ по противодействию коррупции (2012-2016), входил в состав Экономического совета при президенте РФ (2012-2016).
Генерал-полковник запаса.
Действительный государственный советник РФ I класса (2011).
Награжден орденами "За личное мужество" (1989), Красной звезды, Почета, "За военные заслуги", "За заслуги перед Отечеством" I, II (2003), III и IV (2008) степеней, Александра Невского, медалью П. А. Столыпина II степени. Имеет также иностранные награды: ордена "Достык" (Казахстан, 2005), "За заслуги" I степени (Украина, 2013), медаль "Данк" (Киргизия, 2002).
Владеет английским и шведским языками.