Родился 28 января 1892 г. (16 января ст. ст.) в с. Шатрашаны Симбирской губернии Российской империи (ныне в Сурском р-не Ульяновской обл. РФ) в семье в семье ветерана русско-турецкой войны 1877-1878 гг.
После окончания сельской школы в 1903 г. работал подмастерьем кузнеца в родном селе, затем - чернорабочим на заводах в г. Симбирске (ныне Ульяновск). Позже был матросом на рыбных промыслах под Астраханью. В 1913 г. вернулся в родное село, где в том же году был призван на военную службу.
В Русской императорской армии служил в 5-м Каргопольском драгунском полку Казанского военного округа. С началом Первой мировой войны 1914-1918 гг. в составе полка был отправлен на фронт. Участвовал в боевых действиях под Сандомиром, в Галиции, на Карпатах, под Варшавой, а с 1916 г. под Двинском и Ригой. Дослужился до унтер-офицера. За храбрость и мужество в боях был награжден четырьмя Георгиевскими крестами.
В период между революциями 1917 г. входил в состав эскадронного и полкового комитетов, а также делегатом от 5-й кавалерийской дивизии в Петрограде (ныне Санкт-Петербург) на съезде Советов рабочих, крестьянских, солдатских и казачьих депутатов. В августе был переведен в 1-й запасной полк кавалерийской дивизии в г. Сызрань (ныне в Самарской обл.) и направлен на учебу в Чистопольскую школу прапорщиков. В октябре вернулся в свой полк, где получил звание командира эскадрона.
С началом Гражданской войны 1917-1922 гг. полк был расформирован, Иван Тюленев начал службу в Красной гвардии, где первое время отвечал за создание красногвардейских отрядов в Сызрани. В марте 1918 г. вступил в партию большевиков, а в конце мая того же года принял участие в боевых действиях на стороне Рабоче-крестьянской красной армии (РККА). Командовал взводом и эскадроном, воевал против восставших частей чехословацкого корпуса в Поволжье и войск самарского Комитета членов Учредительного собрания.
В ноябре 1918 г. был командирован на учебу в Москву в Академию Генерального штаба РККА (ныне Военная академия Генерального штаба Вооруженных сил РФ). Однако в апреле следующего года был переведен в действующую армию на должность помощника начальника штаба 4-й кавалерийской дивизии. В августе 1919 г. был назначен помощником начальника штаба конного корпуса Семена Буденного, в ноябре того же года возглавил разведку 1-й Конной армии, в марте 1920 г. стал командиром 2-й бригады 4-й кавалерийской дивизии 1-й Конной армии, в мае 1921 г. - исполняющим обязанности командира 15-й Сибирской кавалерийской дивизии, в августе 1921 - командиром 1-й кавалерийской бригады. За этот военный период Иван Тюленев принимал участие в сражениях на Восточном, Южном и Западном фронтах. Воевал под Царицыном, в Донской области и на Северном Кавказе, участвовал в Советско-польской войне 1919-1921 гг., в боевых действиях в Северной Таврии и в Крыму, в подавлении Кронштадтского мятежа 1921 г. и Тамбовского восстания 1920–1921 гг. За отличия в боях был награжден двумя орденами Красного Знамени и золотой шашкой.
В 1922 г. завершил свое обучение в Академии Генштаба РККА и был назначен командиром Отдельной кавалерийской бригады.
С 1924 г. командовал 14-й Майкопской кавалерийской дивизией (позднее - 10-я Майкопская кавалерийская дивизия им. Коммунистического Интернационала молодежи). В 1925 г. стал инспектором кавалерии Северо-Кавказского военного округа. С 1926 г. служил начальником Украинской кавалерийской школы им. Семена Буденного, с 1927 г. - командиром 2-й отдельной Кавказской кавалерийской бригады.
В 1929 г. прошел курсы усовершенствования высшего начсостава, а в 1930 г. окончил курсы партийно-политической подготовки командиров-единоначальников при Военно-политической академии им. Николая Толмачева в Ленинграде (ныне Санкт-Петербург). После этого был назначен командиром и военкомом 1-й Особой кавалерийской бригады им. Иосифа Сталина в составе Особой Краснознаменной Кавказской армии. В 1931 г. стал помощником инспектора кавалерии РККА, в 1934 г. - начальником Управления по конскому составу в центральном аппарате Народного комиссариата обороны СССР и начальником отдела Наркомата обороны СССР по ремонтированию конского состава. С 1936 г. являлся заместителем инспектора кавалерии РККА. С 1938 г. находился в должности командующего войсками Закавказского военного округа (ЗВО).
Во время Польского похода Красной армии 1939 г. командовал 12-й армией. В 1940 г. был назначен командующим войсками Московского военного округа.
В первый день Великой Отечественной войны 1941-1945 гг. генерал армии Иван Тюленев был назначен командующим Южным фронтом, войска которого встретили на юго-западных границах СССР превосходящие силы немецких и румынских соединений группы армий "Юг" генерал-фельдмаршала Герда фон Рундштедта. В сентябре 1941 г. в ходе тяжелых боев в районе Днепропетровска (Украинская ССР, ныне г. Днепр, Украина) Иван Тюленев получил тяжелое ранение и был доставлен в Москву в Центральный военный госпиталь.
В октябре того же года, закончив восстановление после ранения, получил направление в Уральский военный округ для формирования и обучения двадцати дивизий. На базе этих дивизий в январе 1942 г. была создана 28-я резервная армия, войсками которой непродолжительное время командовал Иван Тюленев.
В феврале 1942 г. его назначили заместителем главнокомандующего войсками Юго-Западного направления, а в марте - командующим войсками ЗВО. В мае округ был переформирован в Закавказский фронт, который до конца войны находился под командованием Ивана Тюленева.
Как военачальник Тюленев проявил себя в битве за Кавказ 1942-1943 гг., организовав главный оборонительный рубеж Закавказья на линии рек Терек и Урух. Под его командованием в августе - декабре 1942 г. войска фронта провели Новороссийскую, Моздок-Малгобекскую, Нальчикско-Орджоникидзевскую и Туапсинскую операции, в ходе которых удалось остановить продвижение противника на пути к Кавказскому хребту и не допустить его к нефтяным месторождениям в районе Грозного и Баку. На втором этапе битвы войска генерала Ивана Тюленева провели Северо-Кавказскую наступательную операцию 1943 г., в результате которой были освобождены предгорье Кавказа и часть Кубани. В дальнейшем часть сил фронта вошла в состав Северо-Кавказского фронта, а другая ее часть до конца войны прикрывала Черноморское побережье на участке Лазаревское, Батуми и государственной границы СССР с Турцией и Ираном. Генерал армии Иван Тюленев командовал также советскими войсками в Иране.
После войны Тюленев возглавлял Харьковский военный округ, а в 1947 г. был назначен генерал-инспектором кавалерии Главной инспекции Сухопутных войск. С 1948 г. занимал различные должности в Главном командовании Сухопутных войск. С 1958 г. являлся военным инспектором - советником Группы генеральных инспекторов Министерства обороны СССР.
Иван Тюленев скончался 15 августа 1978 г. на 87-м году жизни. Похоронен на Новодевичьем кладбище в Москве.
Генерал армии (1940).
Был награжден четырьмя Георгиевскими крестами, четырьмя орденами Ленина (1941, 1945, 1962, 1978), орденом Октябрьской Революции (1972), пятью орденами Красного Знамени (1921 - дважды, 1930, 1944, 1947), орденами Кутузова I-й степени (1943), За службу Родине в Вооруженных Силах СССР III-й степени (1975), медалями, почетным золотым оружием, а также иностранными наградами.
Указом Президиума Верховного Совета СССР от 21 февраля 1978 г. генералу армии Ивану Тюленеву было присвоено звание Героя Советского Союза с вручением ордена Ленина и медали "Золотая Звезда" ("за умелое руководство войсками, личное мужество и отвагу, проявленные в борьбе с немецко-фашистскими захватчиками в годы Великой Отечественной войны, большой вклад в подготовку и повышение боевой готовности войск в послевоенный период и в связи с 60-летием Советской армии и Военно-морского флота").
Автор книг "Организация и методика подготовки эскадрона" (1938), "Первая конная в боях за социалистическую Родину" (1938), "Боевая слава советской кавалерии" (1949), "Советская кавалерия в боях за Родину" (1957), "Через три войны" (1972), "За Днепр седой, за отчий дом", "Советские танкисты в боях за Родину", "Крах операции "Эдельвейс" (1975).