Родился 21 ноября 1920 г. в Киеве (Украинская ССР, ныне Украина; дата рождения указана по документам). Фактическая дата рождения - 21 ноября 1924 г. Его отец, Абрам Натанович Френкель, работал парикмахером, а также был музыкантом-клезмером (играл на скрипке на еврейских праздниках и свадьбах). Мать - Нина Наумовна (Нехума Нухимовна) Дымерец - работала швеей.
Раннее детство Ян Френкель провел с семьей в пос. Пологи (Запорожская область Украинской ССР). С четырех лет начал осваивать игру на скрипке под руководством отца.
В 1934 г. был принят в музыкальную школу-интернат для одаренных детей при Киевской государственной консерватории (ныне Национальная музыкальная академия Украины им. П. И. Чайковского). Его одноклассником был Владимир Шаинский (1925-2017, композитор, народный артист РСФСР).
В 1938-1941 гг. Ян Френкель учился в Киевской консерватории по классу скрипки профессора Якова Магазинера и по классу композиции профессора Бориса Лятошинского.
Летом 1941 г. был мобилизован на трудовой фронт на Донбасс. Затем несколько месяцев провел в г. Чкалове (ныне Оренбург), куда была эвакуирована его семья. Работал в эстрадно-джазовых коллективах, также пребывавших в эвакуации в Чкалове, выступал как скрипач в местном кинотеатре "Октябрь".
В 1942 г., исправив в документах год рождения с 1924-го на 1920-й, добровольцем записался в Рабоче-крестьянскую Красную армию. Был принят в Чкаловское училище зенитной артиллерии (впоследствии Оренбургское высшее зенитное ракетное училище, ликвидировано в 2008 г.). С 1943 г. - на фронте, был командиром артиллерийского орудия. Получив тяжелое ранение, прошел лечение в госпитале и был комиссован. Вернулся в г. Чкалов. Непродолжительное время работал музыкантом в областной филармонии, играл на скрипке и рояле.
В 1943-1945 гг. Ян Френкель был артистом фронтовых бригад. Служил концертмейстером во фронтовом эстрадном театре при Московском городском управлении искусств (работал на Карельском фронте), затем поступил во фронтовой филиал Московского театра оперетты (был прикомандирован к 1-му Украинскому фронту). Занимался музыкальным оформлением спектаклей, играл на скрипке, фортепиано и аккордеоне. День Победы встретил в Берлине.
С 1946 г. Ян Френкель проживал в Москве, был музыкантом-исполнителем Главного управления цирков. Играл на скрипке и аккордеоне.
В 1948-1951 гг. руководил оркестром Мосэстрады.
В 1950-х гг. - корректор, аранжировщик в производственном комбинате Музфонда СССР. В те же годы начал работать как композитор: сочинял инструментальную и камерную музыку, эстрадные пьесы. В 1950-е гг. его произведения входили в репертуар инструментальных ансамблей и эстрадных оркестров под управлением Николая Минха, Вадима Людвиковского, Эдди Рознера, Леонида Утесова.
В 1960 г. Ян Френкель был принят в Союз композиторов СССР. В 1960-1961 гг. работал старшим музыкальным редактором Государственного оркестра кинематографии СССР.
С 1960-х гг. писал музыку к кинокартинам и мультипликационным фильмам. Среди кинолент: "Женщины" по роману Ирины Велембовской (1965, режиссер Павел Любимов), "Мужской разговор" по мотивам повести Вадима Фролова "Что к чему" (1968, Игорь Шатров), "Новые приключения неуловимых" (1968, Эдмонд Кеосаян), "Корона Российской империи, или Снова неуловимые" (1970, Эдмонд Кеосаян), "Четвертый" по пьесе Константина Симонова (1972, Александр Столпер), "Неисправимый лгун" (1973, Виллен Азаров), "Когда наступает сентябрь" (1975, Эдмонд Кеосаян), "Белые росы" (1983, Игорь Добролюбов). В анимации преимущественно сотрудничал с режиссером Львом Мильчиным. Написал музыку к его мультфильмам: "Свинья-копилка" (1963), "Сегодня день рождения" (1966), "Бабушкин зонтик" (1969), "Стойкий оловянный солдатик" (1976), "Маша и волшебное варенье" (1979).
Широкую известность Ян Френкель получил как композитор-песенник. В 1961 г. первый большой успех ему принесла песня "Текстильный городок" на стихи Михаила Танича - лирическая зарисовка из жизни работниц ткацкой фабрики г. Орехово-Зуево. Одной из первых исполнительниц была Майя Кристалинская.
Важное место в творчестве композитора занимали песни на армейскую, военную тематику. Среди них: "Солдаты" и "Семнадцатилетние" (стихи Константина Ваншенкина), "Мой товарищ" (стихи Николая Шумакова), "Друзья мои" (стихи Инны Гофф), "Как тебе служится?" (стихи Михаила Танича), "Северный флот - не подведет" (стихи Игоря Шаферана).
В 1969 г. Ян Френкель выступил в качестве автора музыки к песне "Журавли" на стихи Расула Гамзатова в переводе Наума Гребнева. Ее первым исполнителем стал народный артист РСФСР Марк Бернес (1911-1969), запись была сделана за месяц до его смерти. "Журавли" являются одной из наиболее известных песен, посвященных памяти павших во время Великой Отечественной войны.
Большую популярность также получили лирические песни на музыку Яна Френкеля: "Ну что тебе сказать про Сахалин?" (стихи Михаила Танича), "Я спешу, извините меня" (стихи Константина Ваншенкина), "Калина красная" (народные стихи в обработке Евгения Синицына), "Русское поле" из фильма "Новые приключения неуловимых" (стихи Инны Гофф), "Дорога" (стихи Юрия Левитанского).
Песни композитора исполняли Иосиф Кобзон, Эдуард Хиль, Людмила Зыкина, Эдита Пьеха, Валентина Толкунова, Мария Пахоменко, Георг Отс, Юрий Гуляев и другие известные артисты.
В 1987 г. народный артист РСФСР Андрей Миронов в сопровождении ансамбля "Мелодия" записал музыкальную пластинку "Это песня для близких друзей...", полностью состоявшую из произведений на музыку Яна Френкеля.
Композитор также выступал с авторскими концертами, в ходе которых исполнял песни под собственный фортепианный аккомпанемент.
В общей сложности Ян Френкель написал музыку к более чем 200 песням.
С 1979 г. являлся заместителем председателя правления Союза композиторов РСФСР.
Ян Френкель скончался 25 августа 1989 г. в Риге (Латвийская ССР, ныне Латвийская Республика) на 69-м году жизни. Похоронен в Москве на Новодевичьем кладбище.
Народный артист СССР (1989). Заслуженный деятель искусств РСФСР (1973).
Был награжден орденом Дружбы народов.
Лауреат Государственной премии СССР в области литературы, искусства и архитектуры 1982 г.
Был женат на актрисе Наталье Михайловне Меликовой. Дочь - Нина.