Родился 6 ноября 1794 г. в Санкт-Петербурге в семье ювелира, происходил из обрусевших немцев-лютеран.
В 1815 г. Константин Тон окончил в Петербурге Императорскую академию художеств (ИАХ), его учителями были видные архитекторы Андреян Захаров, Андрей Воронихин и Жан-Франсуа Тома де Томон. Окончил академию с аттестатом I степени и золотой медалью за дипломную работу. Это давало ему право отправиться в пенсионерскую образовательную поездку по Европе, однако после наполеоновских войн у академии не хватало денег на эту программу. Поэтому продолжая числиться в ИАХ, в 1817-1819 гг. Константин Тон работал чертежником в Комитете для приведения в лучшее устройство всех строений и гидравлических работ.
В 1819 г. Константин Тон отправился в Италию, где изучал архитектуру Венеции, Сиены, Болоньи, Флоренции, Рима, Неаполя и Помпей. В 1821 г. был принят в члены Академии святого Луки (Рим), а в 1823 г. за обмеры древнегреческих храмов в Пестуме стал членом-корреспондентом Римской археологической экспедиции. Затем в 1824-1828 гг. работал над раскопками древнеримских дворцов на Палатинском холме. Также в 1822 г. побывал во Франции, где слушал курс инженерного дела в парижской Политехнической школе.
Один из проектов Константина Тона по реставрации дворцов на Палатинском холме в 1828 г. понравился русскому императору Николаю I, который распорядился зачислить архитектора в Строительную комиссию, учрежденную при императорском кабинете. В 1829 г. Константин Тон вернулся в Россию, его первой работой на родине стал проект переустройства некоторых помещений ИАХ. Также по его проекту напротив академии была обустроена набережная с привезенными из Египта сфинксами.
Возвращение Константина Тона в Россию совпало с коренными изменениями, происходившими в художественной среде. Классицизм, доминировавший в европейской и русской архитектуре с XVIII века, начал утрачивать позиции. Также классицизм уже не удовлетворял функциональным запросам современного города. Давление на этот стиль оказывали романтические художественные течения, требовавшие отхода от строгих форм и перехода к "плюрализму", "умному выбору" или "эклектике" стилей, обращения к элементами готики, барокко, ренессанса и т. д. Одновременно в России во второй половине 1820-х гг. как наука впервые начала оформляться археология и появился интерес к древнерусской архитектуре - начало этому было положено с раскрытия фундаментов Десятинной церкви в Киеве и ее "воссоздания" по проекту Василия Стасова. Изменения происходили и на уровне государственной идеологии: в начале 1830-х гг. министром просвещения Сергеем Уваровым была сформулирована теория официальной народности. Возникший при этом запрос на народные, русские черты в архитектуре потребовал обращения не просто к допетровским образцам, а к архитектуре Древней Руси, памятники которой дошли к первой половине XIX в. уже в сильно искаженном или руинированном состоянии.
В 1830 г. Константин Тон создал конкурсный проект для новой церкви великомученицы Екатерины в Петербурге. Его проект пятикупольного храма с оформлением, напоминавшим московские соборы, был лично выбран императором Николаем I. Церковь с иконостасом, также выполненным по проекту Тона, была освящена в 1837 г. (почти идентичная копия храма в 1857 г. была построена как собор Троицы Живоначальной в Яранске, ныне в Кировской области).
В 1831 г. Николай I без конкурса назначил Константина Тона архитектором храма Христа Спасителя в Москве и лично выбрал для сооружения новое место - недалеко от Кремля. Изначальный проект храма, посвященный победе в Отечественной войне 1812 г., подготовленный архитектором Карлом Витбергом и предполагавшийся для Воробьевых гор, не был реализован из-за хищений при строительстве. Храм по проекту Тона был заложен в 1839 г. и был освящен в 1883 г., уже после кончины архитектора и Николая I.
Вплоть до кончины Николая I в 1855 г. Константин Тон пользовался полным доверием императора и стал фактически идеологом русской архитектуры николаевского времени. Им был составлен альбом чертежей типовых проектов храмов на разное количество прихожан, которые строились на всей территории империи вплоть до начала XX века. Преимущественно, это были пятикупольные сооружения, примерно повторяющие московский храм Христа Спасителя в уменьшенном масштабе: собор Рождества Богородицы в Ростове-на-Дону, Екатерининский собор в Царском Селе, Троицкий собор в Томске и др. Большое распространение получил и еще один разработанный Константином Тоном тип храмов, с пятью шатровыми куполами. Впервые он был реализован в 1849 г. как Благовещенская церковь Конногвардейского полка в Петербурге (не сохранилась), среди других примеров - храм Рождества Христова в Арзамасе, Александро-Невский Новоярмарочный собор в Нижнем Новгороде, кафедральный Богородице-Рождественский собор в Красноярске и др.
В 1838 г. Николай I поручил Константину Тону постройку нового Большого Кремлевского дворца в Москве. Новая императорская резиденция была достроена в 1849 г., частично в оформлении были использованы мотивы кремлевского Тюремного дворца и других древних построек. При этом конструктивно здание было передовым для своего времени - при строительстве активно использовались бетон и металлические стропила. По проекту Тона в дворце появились парадные залы - Георгиевский, Александровский, Владимирский и Андреевский, исторический облик им был возвращен при реконструкции в 1994-1999 гг.
В 1844-1851 гг. по проекту Тона в Московском Кремле было построено новое здание Оружейной палаты, а в 1849 г. - в усадьбе Измайлово к Покровскому собору пристроены корпуса военной богадельни. В Казани по проекту Константина Тона построен губернаторский дворец (1848) - ныне резиденция главы Республики Татарстан.
В 1844 г. император Николай I выбрал проект Константина Тона для конечных вокзалов железной дороги, связавшей Москву и Петербург. Оба здания (ныне Ленинградский вокзал в Москве и Московский вокзал в Санкт-Петербурге) были открыты к запуску движения поездов в 1851 г. Эти проекты сочетают черты классицизма и ренессанса.
По проекту архитектора (совместно с Рудольфом Желязевичем) было построено и круговое депо станции в Москве.
В 1851 г. по проекту Тона в Петербурге был построен еще один вокзал - для Царскосельской железной дороги. Ныне на его месте располагается Витебский вокзал (1904).
В 1830 г. Константин Тон получил звание академика ИАХ. В 1833 г. он стал профессором архитектуры II степени, в 1843 г. - I степени. С 1854 г. и до своей кончины Константин Тон был ректором ИАХ по архитектурной части. Также был почетным членом Московского архитектурного общества, Санкт-Петербургского общества архитекторов, членом-корреспондентом Королевского института британских архитекторов.
Константин Тон скончался 6 февраля (25 января ст. ст.) 1881 г. в Санкт-Петербурге на 87-м году жизни. Похоронен на Волковском православном кладбище.
Уже во второй половине XIX века отношение публики и специалистов к работам Константина Тона было неоднозначным: они часто воспринимались как слишком "тяжеловесные", как холодное и механическое стилизаторство, попытка перенести древнерусские архитектурные элементы на конструкцию классического пятиглавого собора. Например, писатель Александр Герцен в автобиографии "Былое и думы" утверждал, что построенные Тоном "церкви дышали натяжкой, лицемерием, анахронизмом, как пятиглавые судки с луковками, вместо пробок, на индо-византийский манер". Впрочем, в той же главе Герцен критиковал и современное храмовое зодчество европейских государств в целом.
Близость Константина Тона к Николаю I и идеологическая окраска русско-византийского стиля, ассоциировавшегося с самодержавием, привела к тому, что после Октябрьской революции 1917 г. отношение к его произведениям стало нетерпимым. Его первая работа, Екатерининская церковь в Петербурге, была разобрана в 1929 г. Храм Христа Спасителя был взорван в 1931 г. Похожая судьба коснулась и большинства других церквей, построенных по проектам зодчего. В частности, в Санкт-Петербурге уцелела (в перестроенном виде) только Преображенская церковь лейб-гвардии Гренадерского полка.
Полноценное научное изучение наследия Константина Тона как выдающегося архитектора середины XIX века началось лишь в 1980-х гг. Некоторые храмы по его проектам был воссозданы, среди них храм Христа Спасителя в Москве (1999), Екатерининский собор в Царском Селе (Пушкин, 2010), Казанский собор в Ставрополе (2012), собор Христа Спасителя в Пятигорске (2012).
Константин Тон был награжден орденами cвятого Станислава I степени (1849), cвятой Анны I степени (1855, с императорской короной - 1858), cвятого Владимира II степени (1865), Белого Орла (1869). Имел чин тайного советника (1864).
Супругой Константина Тона была Елена Ивановна (урожд. Берг, 1820-1911). Сын - Константин (1842-1881). Оба брата также были архитекторами: Александр Тон (1790-1858) - автор ряда построек в Царском Селе, Андрей Тон (1800-1858) - в Харькове.
Мемориальные доски, посвященные Константину Тону, установлены на зданиях Ленинградского вокзала в Москве и Московского вокзала в Санкт-Петербурге.