Родился 17 декабря 1905 г. в Минске (Российская империя, ныне Белоруссия).
В первой половине 1920-х гг. работал помощником коменданта Революционного трибунала Киевского военного округа, затем учетчиком на заводе в г. Кременчуге.
Во второй половине 1920-х гг. учился в Ленинградском техникуме экранного искусства (в 1925 г. присоединен к Государственному фотокинотехникуму, ныне Санкт-Петербургский государственный институт кино и телевидения), затем на кинематографическом отделении Высших курсов искусствоведения при Государственном институте истории искусств (прекратил существование в 1931 г.).
С 1928 г. Иосиф Хейфиц работал в кинообъединении "Совкино" (с 1934 г. - "Ленфильм").
Был соавтором сценариев фильмов Александра Иванова "Луна слева" (1928) и "Транспорт огня" (1929).
В 1929 г. вместе с режиссером Александром Зархи (1908-1997) организовал в "Совкино" первую комсомольскую постановочную бригаду. В качестве режиссера этой бригады вместе с Зархи поставил драмы "Ветер в лицо" (1930) и "Полдень" (1931).
В дальнейшем Иосиф Хейфиц двадцать лет работал в режиссерском тандеме с Александром Зархи. Они сняли художественные фильмы "Моя Родина" (1933), "Депутат Балтики" (1936), "Член правительства" (1939), "Малахов курган" (1944) и др., а также документальную ленту "Разгром милитаристской Японии" (1945).
В 1950-х гг. самостоятельно поставил драму "Большая семья" по роману Всеволода Кочетова "Журбины" (1954), детектив "Дело Румянцева" (1955), мелодраму "Дорогой мой человек" по мотивам романа Юрия Германа "Дело, которому ты служишь" (1958).
В 1960-1980-х гг. Иосиф Хейфиц экранизировал произведения Антона Чехова (1960 - "Дама с собачкой", 1966 - "В городе С." по рассказу "Ионыч", 1973 - "Плохой хороший человек" по повести "Дуэль"), Юрия Германа (1963 - "День счастья"), Павла Нилина (1975 - "Единственная..." по рассказу "Дурь", 1979 - "Впервые замужем"), Ивана Тургенева (1977 - "Ася"), Александра Куприна (1982 - "Шурочка" по повести "Поединок"), Бориса Васильева (1985 - "Подсудимый" по произведению "Суд да дело...", 1988 - "Вы чье, старичье?").
Последней режиссерской работой Иосифа Хейфица стала мелодрама "Бродячий автобус" (1989). В общей сложности он поставил около 30 фильмов. Был автором или соавтором сценариев большинства своих картин.
В 1971-1986 гг. являлся первым секретарем Ленинградского отделения Союза кинематографистов СССР.
Иосиф Хейфиц скончался 24 апреля 1995 г. в Санкт-Петербурге на 90-м году жизни. Похоронен на Комаровском поселковом кладбище под Санкт-Петербургом.
Герой Социалистического Труда (1975).
Народный артист СССР (1964). Заслуженный деятель искусств РСФСР (1957).
Был награжден орденами Трудового Красного Знамени (1940, 1967, 1971), Ленина (1975), Дружбы народов (1985).
Лауреат Сталинской премии I и II степеней (1946, 1941).
Обладатель кинопремии "Ника" в почетной номинации "Честь и достоинство" (1993).
Выпустил сборник статей "О кино" (1966), книгу рассказов "Фиолетовый гусь и другие киноистории" (1970).
Был дважды женат. Первая супруга - актриса Янина Жеймо (1909-1987). Сын - Юлий (род. 1940, кинооператор). Второй женой была Ирина Светозарова (1916-1992). Сыновья - Владимир Светозаров (1948-2017, народный художник РФ) и Дмитрий Светозаров (род. 1951, режиссер и сценарист).