Родился 29 июня 1906 г. в селе Оксанина Уманского уезда Киевской губернии Российской империи (ныне в Уманском районе Черкасской области Украины). Отец - Данила Николаевич Черняховский - работал кучером (по другим сведениям - на железной дороге). Мать - Марья Людовиковна. В 1914 г. переехал вместе с семьей в село Вербово Подольской губернии (ныне в Томашпольском районе Винницкой области). После смерти родителей в 1919 г. (они скончались от тифа) работал пастухом, с 1920 г. - путевым рабочим в железнодорожном депо станции Вапнярка неподалеку от Вербово. В 1921 г. вступил в комсомольскую ячейку в Вапнярке. В 1924 г. поступил работать на Новороссийский цементный завод "Пролетарий", где через несколько месяцев стал секретарем заводской комсомольской организации.
В сентябре 1924 г. был отправлен на учебу в Одесское пехотное училище (ныне Военная академия г. Одессы), после первого курса был переведен в Киевскую артиллерийскую школу (окончил в 1928 г.). В 1930 г. завершил среднее образование и годом спустя поступил в Ленинградскую военно-техническую академию (ныне Военный инженерно-технический университет). Затем был переведен в московскую Академию механизации и моторизации им. Сталина (ныне в составе Общевойсковой академии Вооруженных Сил РФ), командный факультет которой окончил с отличием в 1936 г.
В 1928-1931 гг. - командир взвода, помощник командира батареи по политической части, начальник топографического отряда, командир разведывательной учебной батареи 17-го корпусного артиллерийского полка в Виннице.
После окончания военной академии с января 1937 г. по май 1938 г. занимал посты начальника штаба, командира танкового батальона 8-й механизированной бригады Киевского военного округа. В мае 1938 г. был назначен командиром полка Белорусского особого военного округа. С июля 1940 г. по март 1941 г. - заместитель командира танковой дивизии в Прибалтийском Особом военном округе.
В марте 1941 г. стал командиром 28-й танковой дивизии 12-го механизированного корпуса Прибалтийского особого военного округа, в апреле получил звание полковника. После начала Великой Отечественной войны участвовал в оборонительных сражениях на Северо-Западном фронте. С декабря 1941 г. по июнь 1942 г. командовал 241-й стрелковой дивизией, в мае 1943 г. получил очередное звание генерал-майора. Затем был командующим 18-го танкового корпуса Воронежского фронта (июнь - июль 1942 г.). В июле 1942 г. был назначен командующим 60-й армией. Под его руководством армией были освобождены Воронеж (25 января 1943 г.) и Курск (8 февраля 1943 г.). В феврале 1943 г. ему было присвоено звание генерал-лейтенанта, в марте 1944 г. - генерал-полковника.
В апреле 1944 г. стал командующим войсками Западного фронта, который вскоре после этого был переименован в 3-й Белорусский фронт. 28 июня 1944 г. Ивану Черняховскому было присвоено звание генерала армии. Под его руководством были освобождены Витебск (26 июня 1943 г.), Минск (3 июля 1943 г.), Вильнюс (13 июля 1943 г.), Каунас (1 августа 1943 г.).
13 января 1945 г. возглавил командование Восточно-Прусской наступательной операцией. 18 февраля 1945 г. погиб во время проведения инспекции войск перед наступлением неподалеку от г. Мельзак в Восточной Пруссии (ныне Пененжно, Варминьско-Мазурское воеводство, Польша) - в его автомобиль попал неприятельский снаряд.
Был похоронен 20 февраля 1945 г. в Вильнюсе, в 1992 г. прах перезахоронен на Новодевичьем кладбище в Москве.
Дважды Герой Советского Союза (1943, 1944), был награжден орденом Ленина (1943), четырьмя орденами Красного знамени (дважды в 1942, 1943, 1944), двумя орденами Суворова I степени (в 1943 г.), орденом Кутузова I степени (1944), орденом Богдана Хмельницкого I степени (1944).
Владел французским языком, увлекался музыкой.
Был женат. Супруга - Анастасия Григорьевна (девичья фамилия - Добрянская, 1908-1992). В браке родились двое детей - дочь Неонила и сын Олег.