Родился 29 декабря 1775 г. По данным большинства источников, местом его рождения был Неаполь, где в это время в театре выступала его мать, балерина Гертруда Аблехер (родом из Мюнхена). Отец неизвестен. В детстве Карл Росси переехал в Петербург, куда его мать была приглашена выступать в Императорскую труппу вместе с отчимом Росси - балетным танцором Шарлем Ле Пиком.

Учился в петербургской немецкой школе Петришуле, архитектурное образование получил у друга семьи - зодчего Винченцо Бренны. В 1795 г. был принят чертежником в Адмиралтейскую коллегию архитектуры. В 1796 г. император Павел I выбрал Бренну в качестве придворного архитектора. Тот в свою, очередь назначил Росси своим помощником. До 1801 г. Росси работал над строительством Михайловского замка в Санкт-Петербурге, ряда других построек в Гатчине и Павловске. После убийства Павла I в 1801 г. Росси вместе с Бренной уехал за границу, закончил архитектурное образование во Флорентийской академии.

В 1804 г. Росси вернулся в Санкт-Петербург, где два года спустя стал архитектором императорского Кабинета. В этой должности в 1806-1808 гг. был художником стеклянного и фарфорового императорских заводов в Санкт-Петербурге.
С 1809 г. по 1815 г. работал в Экспедиции строения кремлевского дворца, которая занималась строительными работами на территории московского Кремля. В этот период Росси построил Екатерининскую церковь в Вознесенском монастыре Кремля (снесена в 1929 г.), театр на Арбатской площади (сгорел в 1812 г.), также руководил работами по перестройке Путевого дворца в Твери.
В 1815 г. в очередной раз вернулся в Санкт-Петербург. В 1816 г. назначен членом "Комитета для приведения в лучшее устройство всех строений и гидравлических работ в Петербурге и прикосновенных к оному местах", который занимался вопросами благоустройства, прокладкой новых улиц, вопросами водоснабжения и пр. В 1816-1832 гг. Росси был одним из главных архитекторов Санкт-Петербурга. Под его руководством была осуществлена реконструкция Дворцовой площади, возведено здание Главного Штаба с аркой, построены ансамбли Михайловского дворца, Сенатской площади (со зданиями Сената и Синода). Все этим памятники были выполнены в духе классицизма, их часто относят к "русскому ампиру".
Еще одним выдающимся ансамблем авторства Росси стала Александринская площадь с одноименным театром и комплексом зданий вдоль Театральной улицы, ведущей от театра к набережной реки Фонтанки. В 1923 г. улица была переименована в ул. Зодчего Росси.
Также Росси перестроил Елагин и Аничков дворцы. В 1818 г. создал проект памятника императрице Марии Федоровне в Павловске (построен в 1914 г.).
В 1832 г. ушел в отставку с условием завершения прежде начатых построек. При этом работать продолжал и после отставки - был автором проекта колокольни в Юрьевом монастыре в Великом Новгороде (1841), Ново-Никольского моста через канал Грибоедова в Санкт-Петербурге (1841), в конце 1840-х гг. работал над реконструкцией больницы им. Великой княжны Александры Николаевны и Таврического дворца.
В 1848 г. получил российское подданство.
Умер от холеры 18 (6 - по старому стилю) апреля 1849 г. в Санкт-Петербурге. Похоронен на Волковском лютеранском кладбище. В 1940 г. перезахоронен на Лазаревском кладбище Александро-Невской лавры.

Был награжден орденом св. Владимира III степени (1825) и орденом св. Анны II степени с алмазными знаками (1818, 1822).

Был дважды женат. Первая супруга - итальянка Анна Больцини, дети от этого брака - Александр, Михаил, Карл, Зинаида. Вторая жена - шведка Софья Елена Андерсон. В этом браке родились дочери Мария, Катерина, Леонтина, сыновья Лев, Эмиль и Николай.