Родился 4 декабря 1882 г. (по старому стилю 22 ноября 1882 г.) в гор. Белостоке (Гродненская губерния Российской империи, ныне территория Польши) в еврейской семье. Его отец работал счетоводом на одной из суконных фабрик. Мать была учительницей начальной школы.
В 1895-1901 гг. Яков Перельман учился в Белостокском реальном училище.
В 1909 г. по окончании Санкт-Петербургского лесного института (ныне Санкт-Петербургский государственный лесотехнический университет им. С. М. Кирова) получил звание "ученый лесовод I разряда". Но по специальности работать не стал.
Еще в студенческие годы Яков Перельман начал публиковать свои научно-популярные очерки и статьи в журнале "Природа и люди" книгоиздателя Петра Сойкина. С 1904 г. занимал должность ответственного секретаря редакции издания. С 1910 г. по инициативе Перельмана в качестве приложения к журналу начал выходить сборник научно-фантастических повестей и рассказов "Мир приключений".
Также Яков Перельман сотрудничал с другим журналом Сойкина - "Знание для всех". Использовал для своих публикаций разные псевдонимы: "Я. П.", "Я. Лесной", "П. Рельман" и др.
В 1913 г. вышла его первая книга - "Занимательная физика", положившая начало научно-популярной серии. Профессор физики Петербургского университета Орест Хвольсон назвал книгу Перельмана "действительно занимательной", интересной даже для специалистов.
С августа 1913 г. начал вести переписку с Константином Циолковским, одним из основоположников теоретической космонавтики. В ноябре 1913 г. Яков Перельман выступил в Российском обществе любителей мироведения с докладом "О возможности межпланетных сообщений", составленном на основе идей ученого. Благодаря Перельману в журнале "Природа и люди" была напечатана научно-фантастическая повесть Циолковского "Вне Земли" и другие его работы.
В 1916-1917 гг. служил в "особом совещании по топливу" Петрограда (с 1924 г. - Ленинград, в 1991 г. городу было возвращено историческое название - Санкт-Петербург).
После введения в 1918 г. в России метрической системы Яков Перельман написал ряд работ по этой теме: "Новые и старые меры. Метрические меры в обиходной жизни, их преимущества. Простейшие приемы перевода в русские", "Метрическая система. Обиходный справочник", "Азбука метрической системы", "Пропаганда метрической системы" и др.
В 1918-1923 гг. Перельман был инспектором отдела единой трудовой школы Народного комиссариата по просвещению (Наркомпроса) РСФСР. Под руководством председателя главполитсовета при Наркомпросе Надежды Крупской разрабатывал новые учебные пособия и программы по курсам физики и математики. Написал "Новый задачник к краткому курсу геометрии", "Новый задачник по геометрии", "Хрестоматию-задачник по начальной математике" и др.
Одновременно в период с 1918 по 1922 г. преподавал в разных учебных заведениях: Петроградском рабочем политехникуме, Институте народного образования в Пскове, Петроградском коммунистическом университете, Петроградском энерготехникуме и др.
В 1919 г. по предложению Перельмана и с одобрения Крупской при Научном книгоиздательстве в Петрограде стал выходить первый советский научно-популярный журнал "В мастерской природы". С 1919 по 1929 г., за все время существования журнала, Яков Перельман являлся его редактором.
В 1924-1929 гг. работал в отделе науки ленинградской "Красной газеты". Входил в редколлегии журналов "Наука и техника", "Педагогическая мысль".
В конце 1928 г. стал членом секции межпланетных сообщений, образованной при Институте инженеров путей сообщения (Ленинград) профессором Николаем Рыниным. 25 февраля 1929 г. представил на собрании секции доклад о деятельности Константина Циолковского и перспективах развития "ракетного транспорта".
С ноября 1931 г. до конца 1933 г. заведовал отделом пропаганды в Ленинградской группе изучения реактивного движения (ЛенГИРД).
В период с 1932 по 1936 г. вел переписку с конструктором Сергеем Королевым по вопросам пропаганды космических знаний.
В 1932-1936 гг. работал в ленинградском отделе издательства "Молодая гвардия" сначала как автор, затем консультантом и научным редактором. По предложению Перельмана издательством был выпущен ряд книг писателей-фантастов, в т. ч. Александра Беляева, Жюля Верна, Герберта Уэллса и др.
В октябре 1935 г. в Ленинграде по его инициативе был открыт Дом занимательной науки (ДЗН), в котором были созданы интерактивные научно-популярные экспозиции. Яков Перельман являлся научным руководителем ДЗН, возглавлял его методический совет.
После начала Великой Отечественной войны 1941-1945 гг. Яков Перельман отказался от возможности эвакуироваться и остался с женой в Ленинграде. Проводил теоретические занятия, в т. ч. по ориентировке на местности, для войсковых разведчиков, моряков, ополченцев. Для этого разработал специальные лекции на темы: "Как найти дорогу в чаще зимой и летом", "Как определить расстояние до объекта", "Как ориентироваться по звездам и Луне" и др. Его супруга Анна Давыдовна работала врачом в госпитале.
Яков Перельман скончался 16 марта 1942 г. в блокадном Ленинграде от истощения на 60-м году жизни, был похоронен в общей могиле на Преображенском еврейском кладбище. Его жена умерла еще в январе 1942 г., сын Михаил погиб на фронте в том же году.
Популяризатор физико-математических знаний Яков Перельман написал более 100 книг и брошюр, около 20 школьных учебников и учебных пособий, более 1 000 статей и очерков. Свободно владел английским, греческим, немецким, французским и латинским языками.
Наиболее известная серия его работ включает книги: "Занимательная физика" (1913, в 1916 г. вышла уже в двух частях), "Занимательная геометрия" (1925), "Занимательная арифметика" (1926), "Занимательная математика" (1927), "Занимательная астрономия" (1929), "Занимательная механика" (1930), "Занимательная алгебра" (1933). Также в число написанных им книг входят: "Веселые задачи" (1914), "Межпланетные путешествия" (1915), "Загадки и диковинки в мире чисел" (1923), "Научные задачи и развлечения" (1927), "Занимательная математика в рассказах" (1929), "Живая геометрия" (1930), "Математика на каждом шагу" (1931), "Физика на каждом шагу" (1933), "Живая математика" (1934) и др.
По данным Всесоюзной книжной палаты, в период с 1918 по 1973 г. общий тираж книг Перельмана, изданных в СССР, составил более 13 млн экземпляров. Также они издавались за рубежом на немецком, французском, английском, испанском, болгарском, венгерском и других языках.
В 1950 г. в отделении Архива Академии наук СССР в Ленинграде (ныне Санкт-Петербургский филиал Архива РАН) из сохранившихся документов и фотоснимков был образован "перельмановский" фонд №796.