Родился 27 ноября 1867 г. в деревне Плотница Пинского уезда Минской губернии Российской империи (ныне Столинский район Брестской области, Республика Белоруссия) в семье обедневшего польского шляхтича Владислава Яновича Жолтовского (1832-1870) и Ядвиги Аполлинаровны Савицкой.
В 1898 г. после 11 лет учебы, несколько раз прерывавшейся из-за отчислений, окончил без диплома, но со званием архитектора петербургскую Академию художеств (мастерская Антония Томишко), дипломной работой Ивана Жолтовского был проект Народного дома. Параллельно работал помощником у петербургских архитекторов Александра Векшинского, Вильгельма Гаугера, Роберта Марфельда и Александра Степанова. Самостоятельно участвовал в конкурсах на памятники-надгробия известным архитекторам (Николаю Ефимову, Константину Тону и др.).
В 1899 г. участвовал в конкурсе на проект московской гостиницы "Метрополь". Победить в нем архитектору не удалось, но он был задействован в создании интерьеров здания. Все они были уничтожены после того, как почти построенная гостиница сгорела в 1901 г.
Первой крупной реализованной работой Ивана Жолтовского стал дом Скакового общества на Смоленской площади Москвы (1903-1905).
В 1909 г. Академия художеств избрала Жолтовского академиком архитектуры. К этому времени он уже был востребованным архитектором у российских фабрикантов, выстроил несколько усадеб в классическом стиле в Подмосковье. В относительно первозданном виде сохранилась усадьба Липки (городской округ Мытищи, Московская область), которая в 1932-1934 гг. была загородной дачей генерального секретаря ЦК ВКП(б) Иосифа Сталина.
В 1912 г. на ул. Спиридоновке по проекту Жолтовского в непривычном для Москвы стиле итальянского ренессанса был возведен дом купца I гильдии Гавриила Тарасова. Это постройка, отличавшаяся качественной проработкой форм и гармоничностью, принесла архитектору всероссийскую известность. В начале 1910-х гг. он построил по заказу фабриканта Коновалова в духе неоклассицизма ряд зданий фабричного комплекса в с. Бонячки (ныне г. Вичуга, Ивановская обл.)
В 1915 г. Иван Жолтовский завершил строительство двухэтажных блокированных жилых домов (таунхаусов) для поселка завода АМО (впоследствии ЗиЛ).
После Октябрьской революции 1917 г. Жолтовский возглавил архитектурную мастерскую Моссовета. В июле 1918 г. нарком просвещения РСФСР Анатолий Луначарский рекомендовал Жолтовского главе советского государства Владимиру Ленину как "едва ли не самого выдающегося русского архитектора", после чего тот был назначен главой московского архитектурного подотдела отдела изобразительных искусств Наркомпроса (фактически - главным архитектором Москвы).
В 1918-1923 гг. Иван Жолтовский вместе с Алексеем Щусевым занимался разработкой нового плана развития столицы советского государства, получившего название "Новая Москва". По их замыслу город должен был планомерно расширяться в северном направлении до границ Московской окружной железной дороги (ныне Московское центральное кольцо, МЦК). Главная идея Жолтовского и Щусева состояла в "рассредоточении" Москвы с помощью городов-садов, замена некоторых кварталов на зеленые участки при сохранении всех памятников архитектуры. Застраивать Москву планировалось в стиле господствовавшего в 1910-х гг. направления неоклассицизма. Хотя многие положения плана Жолтовский лично согласовывал с Лениным, в полной мере план реализован не был. Москва фактически развивалась стихийно до принятия в 1935 г. "сталинского" генплана.
Параллельно Жолтовский продолжил преподавать в созданных на базе Строгановского училища Первых государственных свободных художественных мастерских (1918-1920), а затем - Высших художественно-технических мастерских (ВХУТЕМАС). Был руководителем так называемых академических мастерских. Они коренным образом отличались методикой преподавания и творческими концепциями от "левых" и "экспериментаторских" мастерских Константина Мельникова, Николая Ладовского и др., где в то время началось становление авангардистского направления архитектуры - конструктивизма.
В 1923 г. Жолтовский стал автором проекта плана и некоторых павильонов Всероссийской сельскохозяйственной и кустарно-промышленной выставки в Москве. Она прошла на территории, где ныне расположен парк культуры и отдыха им. Горького. Выставка стала предтечей ВДНХ. В апреле того же года Жолтовский возглавил архитектурную секцию Российской академии художественных наук (РАХН).
Согласно официальным биографиям, осенью 1923 г. Иван Жолтовский был командирован в Италию для научных работ по архитектуре. По мнению историка Дмитрия Хмельницкого, в действительности архитектор мог эмигрировать: в СССР к тому времени доминировавшим стилем стал чуждый Жолтовскому конструктивизм. Кроме того, по неизвестным причинам он был лишен звания академика РАХН. В 1923-1924 гг. в Пинске (тогда находился на территории Польши) по проекту Жолтовского была на два яруса надстроена колокольня монастыря Францисканцев.
В конце 1926 г. Иван Жолтовский вернулся в СССР и уже в 1927 г. стал победителем ряда крупных конкурсов. При этом исследователи творчества архитектора отмечали разнородность возведенных им построек. В частности, его проектами считаются котельная МОГЭС (Раушская набережная, Москва, 1929) и текстильная фабрика в подмосковной Ивантеевке (1931), выполненные в духе конструктивизма. По мнению Дмитрия Хмельницкого, реальными авторами реализованных проектов были другие люди, в том числе Андрей Буров, поскольку несмотря на победу в конкурсе Жолтовского, от его неоклассических вариантов заказчик решил отказаться. Другой исследователь творчества, Селим Хан-Магомедов, тем не менее считает оба этих проекта принадлежащими Жолтовскому и характеризует их как "гармонизированный конструктивизм".
Не подвергается сомнению авторство Жолтовского боковых флигелей Госбанка на Неглинной улице (1929), выполненных в духе итальянских палаццо, а также Дома советов в Махачкале, в котором итальянские формы были соединены с традиционной архитектурой Дагестана (1928).
В 1931 г. Иван Жолтовский совместно с Георгием Гольцем участвовал в конкурсе проектов Дворца Советов в Москве. В 1-м открытом туре они предложили построить комплекс, в центре которого располагалось круглое здание, напоминающее римский Колизей, рядом с ним предлагалось поставить башню-маяк, также в классическом стиле. Проект был удостоен 1-й премии, что стало неожиданностью для всей архитектурной среды в СССР, где в то время продолжал доминировать конструктивизм. Хотя в последующих турах конкурса на проект Дворца Советов был выбран проект Бориса Иофана, он также был выполнен в стилистическом каноне, заданном Жолтовским.
Окончательный отказ советского руководства от авангарда в архитектуре связан с другим зданием Ивана Жолтовского - жилым домом на Моховой ул. (впоследствии - посольство США, ныне - главный офис АФК "Система"). Это здание выполнено в духе монументального классицизма, традиционные элементы архитектор разместил на современной железобетонной конструкции. После этого даже принятые к строительству в духе конструктивизма проекты в СССР уже достраивались в "приукрашенной" форме. Не все идеи Жолтовского находили понимание у руководства государства. Так, несмотря на протесты архитектора, в 1930-х гг. были приняты решения о сносе в Москве Сухаревой башни и других значимых памятников.
В 1936 г. в СССР был издан выполненный Жолтовским первый полный перевод трактата итальянского архитектора Андрея Палладио (1508-1580) "Четыре книги об архитектуре". В том же году по проекту Жолтовского в Сочи был построен дом уполномоченного ВЦИК (ныне Художественный музей). В этом здании архитектор добился полного воплощения образа палладианской виллы.
В 1939 г. была создана мастерская Ивана Жолтовского (с 1945 г. - проектная школа-мастерская). Несмотря на преклонный возраст, архитектор работал над проектами послевоенного восстановления городов СССР, разработал генпланы застройки Сочи, подмосковных поселков Обираловка (ныне Железнодорожный) и Крюково.
Среди наиболее значимых послевоенных построек Ивана Жолтовского - жилые дома в Москве (Ленинский проспект, д. 11, Смоленская площадь 11-13/21), комплекс московского ипподрома (1949-1955), типовой проект кинотеатра для Москвы ("Слава", "Буревестник", "Победа", 1957), здание Московской художественно-промышленной академии имени С. Г. Строганова (1958). В конце жизни занимался разработкой проектов для крупнопанельного домостроения. В отличие от большинства архитекторов-современников, в 1955 г. согласившихся с новым курсом правительства на "устранение излишеств в проектировании и строительстве", Жолтовский продолжал настаивать на богатом классическом оформлении типовых построек.
Иван Жолтовский скончался 16 июля 1959 г. в Москве. Похоронен на Новодевичьем кладбище. Памятник на могиле выполнен по рисункам самого архитектора.
Заслуженный деятель искусств РСФСР (1932). Действительный член академии архитектуры СССР (1937).
Был награжден орденами Ленина и Трудового Красного Знамени. Отмечен Сталинской премией II степени (1950, за жилой дом на Калужской ул.).
Был женат на Ольге Федоровне Жолтовской. Детей у него не было.
В честь Жолтовского в 1961 г. был переименован Ермолаевский переулок в Москве, историческое имя было возвращено в 1993 г. Ныне имя архитектора носят проспект в Пинске, улица в Прокопьевске (Кемеровская обл.). В 2008 г. Союз архитекторов России учредил медаль им. И. В. Жолтовского "За выдающийся вклад в архитектурное образование".
На доме в Вознесенском переулке в Москве, где в 1926-1959 гг. располагалась мастерская архитектора, имеется памятная доска.
Все сохранившиеся здания авторства Жолтовского являются памятниками архитектуры.
Творчеству Ивана Жолтовского посвящены книги "И. В. Жолтовский. Проекты и постройки" с вступительной статьей Григория Ощепкова (1955) и "Иван Жолтовский" Селима Хан-Магомедова (2010).