Родился 22 октября 1896 г. (10 октября 1896 г. по старому стилю) в слободе Цареборисовка Изюмского уезда Харьковской губернии Российской империи (ныне с. Оскол Изюмского района Харьковской обл. Украины).
После окончания церковно-приходской школы c девяти лет работал на шахтах и солеваренных заводах, был рулевым на баржах.
В мае 1915 г. был призван на Черноморский флот, где получил специальность рулевого, а затем служил в 8-м дивизионе партии траления мин Черного моря в Одессе. После Февральской революции 1917 г. был избран председателем судового комитета, вступил в партию большевиков. Во время Октябрьской революции участвовал в установлении Советской власти на юге Украины, был членом отряда Красной гвардии. После образования Рабоче-крестьянской Красной армии (РККА) добровольно пошел на военную службу.
В ходе Гражданской войны 1917-1922 гг. был военным комиссаром штаба 2-й революционной армии в Екатеринославе (ныне г. Днепр, Украина), затем командиром бронепоезда № 4 (в 1919 г. за успешные боевые действия бронепоезда под Двинском был награжден орденом Красного Знамени), а в 1920 г. назначен командиром и военкомом 1-й группы бронепоездов 13-й армии. Принимал участие в боях с чехословацким корпусом под Сызранью, против белых войск Александра Колчака под Пермью, армии Николая Юденича под Петроградом и армии Петра Врангеля в Крыму. Был дважды ранен.
В 1924 г. окончил годичный курс высшей артиллерийской школы комсостава (г. Харьков, ныне Украина), в 1927 г. - годичные артиллерийские курсы усовершенствования старшего комсостава, в 1930 г. - курсы политической подготовки командиров-единоначальников при Военно-политической академии имени В. И. Ленина (ныне Военный университет Министерства обороны РФ, Москва). Затем был назначен командиром 2-го полка бронепоездов в Белорусском военном округе.
В мае 1931 года поступил в Военную академию им. М. В. Фрунзе (ныне Военный учебно-научный центр Сухопутных войск "Общевойсковая академия Вооруженных сил РФ", Москва). После ее успешного окончания в 1934 г. назначен командиром 3-го отдельного танкового полка Московского военного округа, а через год - командиром 15-й механизированной бригады Киевского военного округа (КВО).
В августе 1937 г. Яков Федоренко стал начальником автобронетанковых войск КВО, в июне 1940 г. - начальником Автобронетанкового (затем Главного) управления РККА (ГАБТУ РККА) в звании генерал-лейтенанта танковых войск. На этом посту отвечал за техническое переоснащение бронетанковых и механизированных войск РККА и подготовку кадрового состава для танковых войск.
В Великую Отечественную войну 1941-1945 гг. занимал должность заместителя наркома обороны СССР Иосифа Сталина (по данным "Военно-исторического журнала" Минобороны РФ, с июля 1941 г. либо с декабря 1942 по май 1943 г.). Контролировал выпуск и поставку в действующую армию танков Т-34 и КВ. По поручению Ставки Верховного Главнокомандования (ВГК) неоднократно консультировал войска Северо-Западного, Брянского, Воронежского и Сталинградского фронтов по вопросам рационального применения бронетанковых и механизированных войск. Был представителем Ставки ВГК в битве под Москвой, в Сталинградской и Курской битвах.
30 июня 1942 г. во время наступления германских войск на Воронеж лично руководил оперативной группой 4, 17 и 24-го танковых корпусов. Из-за отсутствия достоверной разведывательной информации, связи между корпусами и поддержки артиллерии и авиации командованию Брянского фронта не удалось отразить наступление противника. В целом оборонительная операция оказалась неудачной, почти вся правобережная часть Воронежа в итоге была занята немцами.
Яков Федоренко участвовал в разработке приказа Народного комиссара обороны №325 от 16 октября 1942 г., в котором на основе полученного боевого опыта давались указания по дальнейшему применению танков на поле боя. С этого момента лобовые танковые атаки запрещались, танковые полки и бригады предусматривались для поддержки пехоты, а основная борьба с танками противника возлагалась на артиллерию. Положения приказа сохраняли свое значение в ходе всей войны.
7 декабря 1942 г. в связи с реорганизацией ГАБТУ РККА в Управление командующего бронетанковыми и механизированными войсками РККА Яков Федоренко стал первым командующим уже самостоятельного рода войск. В январе 1943 г. получил звание генерал-полковник танковых войск, а в 1944 г. стал первым в стране маршалом бронетанковых войск. Контролировал производство и поставку в действующую армию танков Т-34 с 85-мм пушкой, новых тяжелых танков ИС-1, затем ИС-2, а к концу войны - новых средних танков Т-44 с 85-мм пушкой и тяжелых танков ИС-3. Во время Бобруйской наступательной операции РККА 1944 г. консультировал форсирование танками труднопроходимой лесисто-болотистой местности, сыгравшее решающее значение в освобождении Восточной Белоруссии от германских войск.
В послевоенные годы продолжал возглавлять бронетанковые и механизированные войска. Избирался депутатом Верховного Совета СССР первого и второго созывов.
Яков Федоренко умер в результате инсульта 26 марта 1947 г., на 52-м году жизни. Похоронен в Москве на Новодевичьем кладбище.
Маршал бронетанковых войск (1944)
Яков Федоренко был награжден четырьмя орденами Ленина (1941, 1942, 1945, 1946), двумя орденами Красного Знамени (1919, 1944), орденами Суворова I степени (1944) и Кутузова I степени (1944), медалями и иностранными орденами.