Родился 7 января 1912 г. (25 декабря 1911 г. ст. ст.) в д. Зайцево Могилёвской губернии Российской империи (ныне село в Горецком районе Могилевской обл. Белоруссии) в крестьянской семье.
После окончания семилетней школы работал на кирпичном заводе.
В 1930-1932 гг. учился в Оршанском педагогическом техникуме (ныне Оршанский колледж ВГУ им. П. М. Машерова в Белоруссии). По окончании второго курса был направлен по партийному распределению в Объединенную Белорусскую военную школу им. ЦИК БССР в Минске, которую окончил в 1934 г. с отличием.
После военной школы командовал учебным взводом 27-й Омской стрелковой дивизии в Витебске (Белорусская ССР, ныне Белоруссия). В 1935 г. окончил Ленинградские бронетанковые курсы усовершенствования комсостава им. А. С. Бубнова.
В дальнейшем служил в танковых войсках, где последовательно командовал взводом, батареей, ротой, был начальником штаба отдельного танкового батальона. Принимал участие в освободительном походе Красной армии в Западную Белоруссию (1939 г.), а также в советско-финляндской войне 1939-1940 гг.
В 1941 г. преподавал автобронетанковое дело в Пуховичском военном пехотном училище (Минская обл.). С апреля 1941 г. был командиром учебного танкового батальона 26-й танковой дивизии под Минском.
В начале Великой Отечественной войны 1941-1945 гг. участвовал в оборонительных боях на Западном фронте и в Московской битве на Брянском и Южном фронтах. Прошел путь от командира батальона 26-й танковой дивизии до заместителя командира 121-й танковой бригады. Весной 1942 г. был назначен командиром 91-й отдельной танковой бригады, которая на тот момент находилась на стадии формирования.
Войска под командованием Ивана Якубовского действовали в ходе Сталинградской и Курской битв, при освобождении Донбасса, в битве за Днепр, принимали участие в Киевской, Житомирско-Бердичевской и Проскуровско-Черновицкой операциях. После освобождения г. Фастова (Украинская ССР, ныне Украина) бригада Ивана Якубовского получила почетное наименование "Фастовская".
Указом Президиума Верховного Совета СССР от 10 января 1944 г. полковнику Ивану Якубовскому было присвоено звание Героя Советского Союза с вручением ордена Ленина и медали "Золотая Звезда" ("за образцовое выполнение боевых заданий командования на фронте борьбы с немецкими захватчиками и проявленные при этом отвагу и геройство").
С июня 1944 г. по апрель 1945 г. Якубовский служил заместителем командира 6-го гвардейского танкового корпуса, части которого в тот период сражались в боях за г. Перемышль (Украинская ССР, ныне Пшемысль, Польша), форсировали р. Вислу, участвовали в Львовско-Сандомирской, Сандомирско-Силезской и Верхне-Силезской операциях.
Указом Президиума Верховного Совета СССР от 23 сентября 1944 г. полковник Иван Якубовский был вторично удостоен звания Героя Советского Союза ("за образцовое выполнение боевых заданий командования на фронте борьбы с немецкими захватчиками").
В апреле 1945 г. военачальник получил звание генерал-майора танковых войск и был назначен заместителем командира 7-го гвардейского танкового корпуса. Участвовал в Берлинской и Пражской операциях. За годы войны был неоднократно ранен.
В августе 1945 г. после переформирования корпуса стал заместителем командира 7-й гвардейской танковой дивизии в Центральной группе войск.
В 1948 г. окончил Высшую военную академию им. К. Е. Ворошилова (ныне Военная академия Генерального штаба Вооруженных сил РФ, Москва) и был назначен командиром 2-й гвардейской отдельной танковой дивизии (Ленинградский военный округ). В марте 1949 г. принял командование 4-й гвардейской Кантемировской танковой дивизией (Московский военный округ).
В 1952-1953 гг. командовал бронетанковыми и механизированными войсками Прикарпатского военного округа; затем в звании генерал-лейтенанта был направлен на службу в ГДР (ныне Германия).
В составе Группы советских оккупационных войск в Германии (ГСОВГ, с 1954 г. - Группа советских войск в Германии, ГСВГ) занимал должности от командующего армией до главнокомандующего ГСВГ. В феврале 1958 г. Ивану Якубовскому было присвоено звание генерал-полковника.
В период Берлинского кризиса 1961 г. полномочия главнокомандующего ГСВГ формально были переданы Маршалу Советского Союза Ивану Коневу, в то время как Иван Якубовский был назначен его первым заместителем. После стабилизации военно-политической обстановки в Европе в апреле 1962 г. Иван Якубовский вернулся на свой прежний пост, став при этом генералом армии.
В январе 1965 г. был возвращен в СССР на должность командующего войсками Киевского военного округа.
12 апреля 1967 г. Иван Якубовский получил звание Маршала Советского Союза и одновременно с этим был назначен первым заместителем министра обороны СССР. С июля того же года по совместительству выполнял обязанности главнокомандующего Объединенными вооруженными силами государств - участников Организации Варшавского договора (ОВД). В период "Пражской весны" 1968 г. организовал штабные учения войск стран ОВД на территории Чехословацкой ССР (ныне Чехия и Словакия), что позволило сосредоточить в стране военный контингент из 16 тыс. человек еще до начала кризиса. Кроме этого, маршал осуществлял военную подготовку операции "Дунай", в ходе которой в августе 1968 г. в Чехословакию были введены войска стран ОВД для смены политического руководства страны и установления в ЧССР лояльного Советскому Союзу режима.
Член ЦК КПСС в 1961-1976 гг. Избирался депутатом Верховного Совета СССР с шестого по девятый созывы (в 1962-1976 гг.), а также Верховного Совета РСФСР второго (в 1947-1951 гг.), четвертого и пятого созывов (в 1955-1963 гг.).
Иван Якубовский скончался 30 сентября 1976 г. на 65-м году жизни. Урна с прахом замурована в Кремлевской стене на Красной площади Москвы.
Маршал Советского Союза (1967).
Был награжден четырьмя орденами Ленина (1944, 1962, 1968, 1972), четырьмя орденами Красного Знамени (1942, 1943, 1944, 1953), двумя орденами Суворова II степени (1945), орденами Отечественной войны I степени (1943), Красной Звезды (1947), "За службу Родине в Вооруженных Силах СССР" III степени (1975), Почетным оружием, медалями и иностранными наградами.
Автор книг "Боевое содружество" (1971), "Земля в огне" (1975), "За прочный мир на земле" (1975), а также статей "В суровом сорок первом", "Ничто не забыто", "За Днепр седой, за отчий дом", "Советские танкисты в боях за Родину", "Удар небывалой силы" и др.