Родился 24 октября 1875 г. (12 октября 1875 г. по старому стилю) в Москве. Его отец - Федор (Теодор) Юон - был родом из Швейцарии, служил в страховой компании, позднее возглавил ее.
С восьми лет Константин Юон занимался рисованием и живописью. В 1894 г. поступил в Московское училище живописи, ваяния и зодчества. После первого года обучения на архитектурном отделении перевелся на живописное. Его педагогами в училище были художники Константин Савицкий, Абрам Архипов, Николай Касаткин. В годы учебы принимал участие в выставках.
После окончания училища в 1898 г. Константин Юон продолжил обучение в частной мастерской известного художника Валентина Серова, посещал также класс Исаака Левитана. Затем вместе с живописцем Иваном Дудиным открыл собственную частную школу - Классы рисования и живописи. Она проработала до 1917 г., в ней прошли обучение более трех тысяч учеников. Среди них были скульптор Вера Мухина, архитектор Николай Колли, художники Роберт Фальк, Владимир Фаворский, искусствовед Юрий Бахрушин и др.
Картины Константина Юона экспонировались на выставках Московского товарищества художников (1899, 1902), Товарищества передвижных художественных выставок (1900), "Мира искусства" (1901, 1906) и др.
В 1903 г. вместе с художниками Игорем Грабарем и Абрамом Архиповым стал одним из инициаторов создания Союза русских художников. Был его постоянным экспонентом, в 1904 г. стал членом комитета союза.
Входил также в число участников петербургского объединения "Мир искусства" Сергея Дягилева и Александра Бенуа. Занимался оформлением спектаклей "Русских сезонов" Дягилева в Париже. В 1913 г. создал декорации для оперы Модеста Мусоргского "Борис Годунов", заглавную партию в которой исполнил Федор Шаляпин. Впоследствии певец приобрел семь эскизов Юона, сделанных к постановке "Бориса Годунова", для своей коллекции.
Константин Юон работал преимущественно как пейзажист, много путешествовал по России. Основной темой его творчества были сельские и городские пейзажи, четкие по композиции и цвету. По словам художника, он "хотел писать картины, как пишутся песни о жизни, об истории русского народа, о природе, о древних русских городах".
Жил в подмосковном селе Лигачеве, где в 1900 г. познакомился с крестьянкой Клавдией Никитиной, которая стала его супругой. Это неравный брак послужил причиной многолетнего конфликта художника со своим отцом.
В 1900 г. пейзаж Юона "У Новодевичьего монастыря весной" впервые приобрела Третьяковская галерея. В числе других известных работ живописца 1900-1910-х гг. - "К Троице" (1903), "Голубой куст" (1908), "Весенний солнечный день" и "Троицкая лавра зимой" (1910), "Москворецкий мост. Зима" (1911). В 1915 г. в Лигачеве им было создано полотно "Мартовское солнце", которое искусствоведы поставили в один ряд со знаменитыми картинами Исаака Левитана "Март" и Алексея Саврасова "Грачи прилетели".
С 1908 г. работал также над т. н. космическим циклом - серией графических рисунков "Сотворение мира", в которой в стиле символизма изобразил рождение мира (планет и природы) из первозданного хаоса.
После революции 1917 г. создал серию акварельных работ о событиях в Москве, очевидцем которых был ("Перед вступлением в Кремль у Никольских ворот" и др.). В 1921 г. написал полотно "Новая планета", которое, с одной стороны, явилось продолжением цикла о сотворении мира, с другой - продолжало сценографические работы художника (выполнено по эскизу занавеса для Большого театра). Трактовки этого произведения до сих пор остаются неоднозначными. Одни видели в картине новый мир, рожденный революцией, другие - разрушение мироустройства. "Новая планета" Юона послужила иллюстрацией обложки книги Ивана Шмелева "Солнце мертвых" о трагических событиях Гражданской войны и красного террора в Крыму. Позднее, в 1923 г., Юон создал картину "Люди" как своеобразное продолжение своего космического цикла.
Вместе с тем, после революции художник продолжал работу в жанре пейзажной живописи. Одной из самых известных картин этого периода стало полотно "Купола и ласточки. Успенский собор Троице-Сергиевой лавры" (1921). В 1922 г. вышел альбом литографий, посвященных Сергиеву Посаду.
Константин Юон был одним из инициаторов создания школ изобразительного искусства при Московском отделении народного образования.
В 1925 г. был принят в Ассоциацию художников революционной России.
В 1938-1939 гг. руководил персональной мастерской во Всероссийской академии художеств в Ленинграде.
В 1940-е гг. создал эскизы мозаик для неосуществленного проекта Дворца Советов в Москве.
В 1945 г. ему было присвоено звание народного художника РСФСР.
В 1947 г. он стал академиком Академии художеств СССР.
С 1948 по 1950 г. Константин Юон возглавлял Научно-исследовательский институт теории и истории изобразительных искусств Академии художеств СССР.
С 1951 г. был членом Всесоюзной коммунистической партии (большевиков), с 1952 г. - КПСС.
С 1952 по 1955 г. - преподаватель Московского художественного института им. В. И. Сурикова, профессор. Работал также в качестве педагога в Ленинградском институте живописи, скульптуры и архитектуры им. И. Е. Репина, Заочном народном университете искусств в Москве и др.
В 1957 г. был избран первым секретарем правления Союза художников СССР.
Среди его работ советского периода: "Парад Красной армии" (1923), "Подмосковная молодежь" (1926), "Перед вступлением в Кремль в 1917 году. Троицкие ворота" (1927), "Начало весны" (1935), "Утро Москвы" (1942), "Москва салютует" (1945), "Утро индустриальной Москвы" и "Парад на Красной площади в Москве 7 ноября 1941 года" (обе - 1949) и др. Произведения художника хранятся в коллекциях Государственной Третьяковской галереи, Русского музея и др.
Он также занимался оформлением спектаклей: "Ревизор" по пьесе Николая Гоголя (1921; МХАТ), "Сердце не камень" по произведению Александра Островского (1923, Малый театр), "Егор Булычов и другие" по пьесе Максима Горького (1934, МХАТ), оперы "Хованщина" Модеста Мусоргского (1940, Большой театр). В качестве художника работал над кинофильмом "Иван Никулин - русский матрос" по одноименной повести Леонида Соловьева (1944; реж. Игорь Савченко), мультфильмом "Каштанка" по рассказу Антона Чехова (1952; Михаил Цехановский).
Константин Юон скончался 11 апреля 1958 г. в Москве на 83-м году жизни. Похоронен на Новодевичьем кладбище столицы.
Был награжден орденом Ленина (1945), двумя орденами Трудового Красного Знамени (1943, 1955).
Заслуженный деятель искусств РСФСР (1926).
Народный художник СССР (1950).
Лауреат Сталинской премии первой степени (1943).
В 1958 г. вышла книга Константина Юона "Москва в моем творчестве", в 1959 г. - двухтомник статей и эссе "Об искусстве".
Был женат, имел двоих детей. Супруга - Клавдия Алексеевна (1883-1965), сыновья Борис (1902-1917) и Игорь (1904-1932). Младший брат Павел Юон (1872-1940) - композитор, в основном работал в Германии и Швейцарии.
К 100-летию Константина Юона в СССР была выпущена памятная почтовая марка (1975). В Москве на доме по адресу ул. Земляной Вал, 14-16, стр. 1, в котором с 1936 по 1958 г. жил и работал художник, установлена мемориальная доска.