Родился 2 декабря 1897 г. (20 ноября по старому стилю) 1897 г. в гор. Елисаветполе Российской империи (ныне г. Гянджа в Азербайджане) в семье рабочего-путейца. По другим данным, местом рождения являлось с. Чардахлы Елисаветпольской губернии Российской империи (ныне с. Чанлибель в Азербайджане).
Начальное образование получил в армянской церковно-приходской школе. В 1912 г. окончил Елисаветпольское железнодорожное училище, в 1915 г. стал выпускником Тифлисского технического училища (Тифлис - ныне Тбилиси, Грузия). В 1925 г. окончил Высшую кавалерийскую школу Рабоче-крестьянской Красной армии (РККА) в Ленинграде (ныне Санкт-Петербург), в 1931 г. - курсы усовершенствования высшего начсостава в Москве, а в 1934 г. стал выпускником Военной академии РККА им. М. В. Фрунзе (ныне Общевойсковая академия Вооруженных сил РФ, Москва). Согласно официальной биографии, публиковавшейся в советский период, в 1938 г. Иван Баграмян с отличием окончил Академию Генерального штаба Рабоче-крестьянской Красной армии в Москве, после чего был оставлен при ней старшим преподавателем кафедры тактики высших соединений. По другим данным (приводились, в частности, телеканалом "Звезда" Минобороны РФ), полковник Баграмян был отчислен из академии и уволен из армии из-за негативной характеристики, но позже был восстановлен на преподавательской работе.
В начале 1910-х гг. непродолжительное время работал техником на железной дороге в Елисаветполе.
Весной 1915 г. добровольцем вступил в Русскую императорскую армию. Воевал на Кавказском фронте Первой мировой войны. В июле 1917 г. окончил 1-ю Тифлисскую школу прапорщиков, вскоре после этого демобилизовался.
В период Гражданской войны 1917-1922 гг. первое время Иван Баграмян сражался в частях провозглашенной в мае 1918 г. армянскими националистами Армянской Республики, принимал участие в армяно-турецкой войне 1918 г. В декабре 1920 г. вступил в ряды Рабоче-крестьянской Красной армии (РККА), в дальнейшем участвовал в установлении советской власти в Армении и Грузии.
В 1923-1931 гг. командовал кавалерийским полком Армянской стрелковой дивизии РККА, дислоцировавшейся на Кавказе.
В 1934-1936 гг. являлся начальником штаба 5-й кавалерийской дивизии им. тов. Блинова в Киевском военном округе (ВО). В 1935 г. получил звание полковника.
В 1940 г. Иван Баграмян занял должность начальника оперативного отдела штаба 12-й армии Киевского особого ВО, а позже стал начальником оперативного отдела штаба этого округа.
С началом Великой Отечественной войны 1941-1945 гг. Киевский особый ВО был преобразован в Юго-Западный фронт. Иван Баграмян возглавил оперативный отдел штаба фронта. В этой должности отвечал за подготовку и проведение Киевской оборонительной операции, Ростовской и Елецкой наступательных операций.
В конце 1941 г. был назначен начальником штаба Юго-Западного направления, с апреля 1942 г. являлся одновременно начальником штаба Юго-Западного фронта. В это время активно участвовал в подготовке Харьковской наступательной операции, которая закончилась тяжелым поражением советских войск. Вскоре после этого генерал-лейтенант Иван Баграмян был снят с занимаемой должности и назначен сначала заместителем командующего 61-й армии, а затем командующим 16-й армии (с 16 апреля 1943 г. - 11-я гвардейская) Западного фронта. Под его командованием войска армии участвовали в отражении немецкого контрудара под Козельском (ныне в Калужской обл.) в июле 1942 г., в Жиздринской наступательной операции в феврале - марте 1943 г., а также отличились в Орловской операции во время Курской битвы.
В конце 1943 г. Иван Баграмян был назначен командующим войсками 1-го Прибалтийского фронта с присвоением звания генерала армии. Под его руководством были успешно проведены Городокская наступательная операция 1943 г. и Витебско-Оршанская наступательная операция 1944 г.
В ходе Прибалтийской операции 1944 г. войска Баграмяна вышли к побережью Балтийского моря в районе г. Мемеля (ныне Клайпеда, Литва), отрезав германскую группу армий "Север" от Восточной Пруссии в "Курляндском котле". Силы 1-го Прибалтийского фронта под его командованием принимали участие в Восточно-Прусской операции 1945 г.
В феврале 1945 г. Иван Баграмян был назначен командующим Земландской группой войск, затем в апреле того же года возглавил 3-й Белорусский фронт. Участвовал в подготовке штурма Кёнигсберга (ныне Калининград) и ликвидации группировки войск противника на Земландском полуострове.
На Параде Победы 24 июня 1945 г. в Москве возглавляя сводный полк 1-го Прибалтийского фронта.
После войны Иван Баграмян занимал должности командующего войсками Прибалтийского ВО (1945-1954), главного инспектора Министерства обороны (1954-1955), заместителя министра обороны СССР Георгия Жукова (1955-1956).
С 1956 г. являлся начальником Высшей военной академии им. К. Е. Ворошилова (ныне Военная академия Генерального штаба ВС РФ).
В 1958-1968 гг. занимал пост заместителя министра обороны СССР - начальника тыла ВС СССР (оборонное ведомство в тот период возглавляли Родион Малиновский и Андрей Гречко).
В 1962 г. участвовал в организации секретной операции "Анадырь" по переброске группировки советских войск с ядерными ракетами на Кубу.
С 1968 г. входил в состав группы генеральных инспекторов Минобороны СССР.
Иван Баграмян скончался в Москве 21 сентября 1982 г. на 85-м году жизни. Урна с прахом замурована в Кремлевской стене на Красной площади столицы.
С 1952 г. являлся кандидатом в члены ЦК КПСС, с 1961 г. был членом ЦК КПСС. Избирался депутатом Верховного Совета СССР со второго по десятый созывы (1946-1982 гг.).
Маршал Советского Союза (1955).
Был награжден семью орденами Ленина (1944, 1945, 1947, 1957, 1967, 1972), тремя орденами Красного Знамени (1941, 1944, 1951), двумя орденами Суворова I степени (1943, 1945), орденом Кутузова I степени (1943), орденом Октябрьской Революции (1968), орденом "За службу Родине в Вооруженных Силах СССР" III степени (1975), почетным оружием с золотым изображением Государственного герба СССР (1968), медалями и иностранными наградами.
Дважды Герой Советского Союза (1944, 1977).
Автор книг "Так начиналась война" (1977), "Так шли мы к победе" (1977), "Мои воспоминания. Ереван" (1980), "Боевая слава" (1981), "Великого народа сыновья" (1984).