Родился 31 января 1953 г. в Ленинграде (ныне Санкт-Петербург).
В 1975 г. окончил переводческое отделение филологического факультета Ленинградского государственного университета им. А. А. Жданова (ныне Санкт-Петербургский государственный университет), в 1976 г. - Высшие курсы Комитета государственной безопасности СССР в Минске, в 1981 г. - Краснознаменный институт КГБ СССР (ныне Академия внешней разведки).
В 1975 г. работал стажером-преподавателем Ленинградского высшего инженерно-морского училища.
Затем был сотрудником управления КГБ СССР по Ленинградской области, где познакомился с будущим президентом РФ Владимиром Путиным.
С 1981 по 1991 г. служил в системе Первого главного управления (внешняя разведка; ПГУ) КГБ СССР, начинал службу с должности оперуполномоченного.
В 1991-1998 гг. продолжал работу в Службе внешней разведки РФ (СВР России), которая была создана в декабре 1991 г. на базе ПГУ КГБ СССР. В 1998 г. занимал должность первого заместителя начальника одного из управлений СВР. В период службы в советской и российской внешней разведке находился в длительных зарубежных командировках в Финляндии и Кении, также некоторое время работал в Великобритании.
С августа 1998 г. по ноябрь 1999 г. - заместитель директора Федеральной службы безопасности (ФСБ) РФ - начальник департамента анализа, прогноза и стратегического планирования ФСБ. Работал под руководством Владимира Путина, который с июля 1998 г. по август 1999 г. возглавлял ФСБ.
С 15 ноября 1999 г. по 28 марта 2001 г. - секретарь Совета безопасности РФ. Сменил на этом посту Владимира Путина.
9 ноября 2000 г. был уволен с военной службы.
28 марта 2001 г. Сергей Иванов был назначен министром обороны РФ (сменил на этом посту Игоря Сергеева). С 14 ноября 2005 г. по 15 февраля 2007 г. - заместитель председателя правительства РФ - министр обороны РФ (кабинет министров в это время возглавлял Михаил Фрадков).
С 26 апреля 2001 г. по 25 мая 2008 г. являлся постоянным членом Совета безопасности РФ.
С 15 февраля 2007 г. - первый заместитель председателя правительства РФ (премьер-министром РФ был Михаил Фрадков, с октября 2007 г. - Виктор Зубков). Занимал пост до мая 2008 г.
С 12 мая 2008 г. по 22 декабря 2011 г. Сергей Иванов являлся заместителем председателя правительства РФ Владимира Путина. Курировал вопросы промышленности, в том числе оборонной и атомной, транспорта, связи, науки и др.
С 22 декабря 2011 г. по 12 августа 2016 г. - руководитель Администрации президента РФ (до мая 2012 г. пост главы государства занимал Дмитрий Медведев, с мая 2012 г. - Владимир Путин). Во главе администрации Сергей Иванов сменил Сергея Нарышкина.
С 24 декабря 2011 г. по настоящее время - постоянный член Совета безопасности РФ.
С 12 августа 2016 г. - специальный представитель президента РФ по вопросам природоохранной деятельности, экологии и транспорта.
Одновременно с января 2017 г. является председателем наблюдательного совета Российского фонда прямых инвестиций.
Председатель совета директоров компании "Ростелеком" (с 2015 г.), член наблюдательного совета госкорпорации "Ростех" (с 2017 г.).
Председатель попечительского совета Российского военно-исторического общества (с 2019 г.).
Почетный президент баскетбольной Единой лиги ВТБ.
Занимал посты председателя Морской коллегии при правительстве РФ (2005-2011), Военно-промышленной комиссии при правительстве РФ (2006-2011), совета директоров ОАО "Объединенная авиастроительная корпорация" (2006-2011).
Являлся членом президиума Совета при президенте РФ по противодействию коррупции (2012-2016), входил в состав Экономического совета при президенте РФ (2012-2016).
Генерал-полковник запаса.
Действительный государственный советник РФ I класса (2011).
Награжден орденами "За личное мужество" (1989), Красной звезды, Почета, "За военные заслуги", "За заслуги перед Отечеством" I, II (2003), III и IV (2008) степеней, Александра Невского, медалью П. А. Столыпина II степени. Имеет также иностранные награды: ордена "Достык" (Казахстан, 2005), "За заслуги" I степени (Украина, 2013), медаль "Данк" (Киргизия, 2002).
Владеет английским и шведским языками.