Родился 27 февраля 1904 г. (14 февраля 1904 г. по старому стилю) в гор. Санкт-Петербурге в семье журналиста и театральной актрисы.
В 1925 г. окончил физико-механический факультет Ленинградского политехнического института (ныне Санкт-Петербургский политехнический университет Петра Великого).
Доктор Кембриджского университета (1928, за работу "О свете сцинтилляций, производимых альфа- и бета-частицами). Доктор физико-математических наук (1935).
В 1946 г. был избран член-корреспондентом Академии наук (АН) СССР, в 1953 г. - действительным членом АН СССР.
С 1921 г. Юлий Харитон работал в петроградском Физико-техническом институте (ныне Физико-технический институт имени А. Ф. Иоффе Российской академии наук, Санкт-Петербург) под руководством физикохимика Николая Семенова (1896-1986).
В 1926-1928 гг. по рекомендации Николая Семенова, Петра Капицы (1894-1984) и Абрама Иоффе (1880-1960) находился в научной командировке в Кавендишской лаборатории - научно-исследовательском центре при Кембриджском университете (Великобритания).
В 1931 г. возглавил лабораторию взрыва в Институте химической физики, отделившемся от Физико-технического института (ныне Институт химической физики им. Н. Н. Семенова Российской академии наук, с 1944 г. расположен в Москве).С 1943 г. Юлий Харитон осуществлял научное руководство работами по созданию и совершенствованию советского атомного и термоядерного оружия. К работам были привлечены лучшие физики и математики СССР, включая Якова Зельдовича (1914-1987), Андрея Сахарова (1921-1989), Мстислава Келдыша (1911-1978) и др. Руководил проектом глава Специального комитета при Государственном Комитете Обороны (впоследствии - при Совете министров СССР) Лаврентий Берия (1899-1953).
С 1946 г. Юлий Харитон занимал пост научного руководителя Конструкторского бюро №11 при Лаборатории измерительных приборов АН СССР в закрытом городе Арзамас-16 Горьковской области РСФСР (ныне г. Саров, Нижегородская область). Результатом деятельности коллектива под руководством Юлия Харитона стали, в частности, успешные испытания советских атомной (1949) и водородной бомб (1953). В 1967-1992 гг. Юлий Харитон был научным руководителем в созданном на базе КБ-11 Всесоюзном научно-исследовательском институте экспериментальной физики (ныне Российский федеральный ядерный центр - Всероссийский научно-исследовательский институт экспериментальной физики).
Основные научные труды Юлия Харитона касаются области ядерной физики, теории горения и взрыва. Под руководством британских физиков Эрнеста Резерфорда (1871-1937) и Джеймса Чедвика (1891-1974) ученый исследовал природу сцинтилляций (слабых световых импульсов), создаваемых альфа-частицами. Разработал теорию разделения газов центрифугированием, в 1936 г. установил закономерности разделения изотопов центрифугированием. В 1939-1940 гг. совместно с советским физиком Яковом Зельдовичем впервые произвел расчет цепной реакции деления ядер урана. Совместно с Яковом Зельдовичем и Исаем Гуревичем (1912-1992) уточнил критическую массу урана-235. В 1942 г. Юлий Харитон разрабатывал теорию кумулятивных снарядов. Исследовав кинетику химической реакции горения, установил условия возникновения детонации вещества. Харитон и его ученики создали основополагающие научные работы по физике горения и взрыва.
Юлий Харитон скончался 18 декабря 1996 г. в Сарове на 93-м году жизни. Похоронен на Новодевичьем кладбище в Москве.
Являлся депутатом Верховного Совета СССР III-XI созывов (1950-1989).
Юлий Харитон был трижды удостоен звания Героя Социалистического Труда (1949, 1951, 1954). Лауреат Ленинской премии (1957), трех Сталинских премий (1949, 1951, 1953). Был награжден шестью орденами Ленина (1949, 1956, 1962, 1964, 1974, 1984), орденом Октябрьской Революции (1971), орденом Красной Звезды (1944), орденом Трудового Красного Знамени (1945). Обладатель Золотой медали им. И. В. Курчатова АН СССР (1974) и Большой золотой медали им. М. В. Ломоносова АН СССР (1982).
Бюсты академика установлены в Санкт-Петербурге и Сарове, мемориальные доски размещены в Москве, Санкт-Петербурге и Сарове на зданиях, где он жил и работал. В честь ученого названы улицы в Санкт-Петербурге, Сарове и подмосковном Троицке.
В 1996 г. были изданы воспоминания Юлия Харитона (совместно с физиком Юрием Смирновым) "Мифы и реальность советского атомного проекта".
Об ученом написана книга "Человек столетия: Ю. Б. Харитон" (1999, под ред. В. Н. Михайлова).