Родился 6 марта 1815 г. (по старому стилю 22 февраля 1815 г.) в деревне Безруково Ишимского уезда Тобольской губернии (ныне – село Ершово Ишимского района Тюменской обл.) в семье мелкого чиновника Павла Алексеевича Ершова. Семья часто переезжала в связи с работой отца, служившего в Петропавловске, Омске, Березове. С 1824 г. Петра и его брата Николая родители отправили учиться в гимназию г. Тобольска. В Тобольске Ершов заинтересовался сибирским фольклором, собирал и изучал местные сказки. В 1831 г. отец Ершова добился перевода в Санкт-Петербург, чтобы после окончания гимназии его сыновья имели возможность поступить в университет.
В 1831-1834 г. Петр Ершов учился на философско-юридическом отделении Санкт-Петербургского университета (ныне - Санкт-Петербургский государственный университет).
В студенческие годы познакомился с поэтами Василием Жуковским и Александром Пушкиным, профессором русской словесности Петром Плетневым. Состоял в литературном кружке поэта и переводчика Владимира Бенедиктова.
В начале 1834 г. Ершов представил Петру Плетневу в качестве курсовой работы первую часть стихотворной сказки "Конек-Горбунок". Произведение 19-летнего студента впечатлило Плетнева, он зачитал его с университетской кафедры. Существует свидетельство современника о том, что сказку высоко оценил Александр Пушкин, сказавший Ершову при личной встрече: "Теперь этот род сочинений можно мне и оставить". Вскоре отрывок был опубликован в журнале "Библиотека для чтения", и в том же 1834 г. появилось первое отдельное издание "Конька-Горбунка".
После окончания университета Ершов не сумел получить должность в Петербурге. Кончина отца и брата в 1833 и 1834 гг. вынудила Ершова вернуться летом 1836 г. в Тобольск. После возвращения он работал в местной гимназии сначала учителем словесности и философии, затем инспектором, а с 1857 г. – директором гимназии и дирекции училищ Тобольской губернии. Одним из учеников гимназии в этот период был Дмитрий Менделеев, впоследствии первой женой ученого была падчерица Ершова.
Ершов активно участвовал в культурной и общественной жизни Сибири, общался с декабристами и другими политическими ссыльными, организовал в гимназии самодеятельный театр. Его авторству принадлежат труды по педагогике, в том числе "Курс российской словесности", который в 1847 г. был отвергнут Министерством народного просвещения. По инициативе Ершова были открыты женские школы в ряде городов Тобольской губернии.
В 1862 г. Ершов ушел в отставку. Скончался 30 (18) августа 1869 г. Похоронен на Завальном кладбище г. Тобольска.
Ершов не прекращал творческую деятельность на протяжении всей жизни. Он является автором ряда лирических стихотворений (в том числе отклика на смерть Пушкина "Кто он?"; 1837), пьес (в том числе "Суворов и станционный смотритель"; 1835), романтической поэмы "Сугзе" (1838), сборника повестей "Осенние вечера" (1857) и др.
Наибольшую известность Ершову принесла стихотворная сказка в трех частях "Конек-Горбунок", повествующая о приключениях крестьянского сына Ивана и его волшебного помощника-коня. При жизни автора она, несмотря на запреты цензуры, выдержала семь изданий и приобрела широкую популярность.
Это ставшее классическим произведение русской литературы было экранизировано режиссером Александром Роу в 1941 г. По его мотивам в 1947 г. Иваном Ивановым-Вано был снят первый советский полнометражный мультфильм (обновленная версия создана в 1976 г.). Неоднократно создавались театральные постановки по мотивам "Конька-Горбунка", среди них балеты композиторов Цезаря Пуни и Родиона Щедрина.
Петр Ершов был трижды женат (на Серафиме Лещевой, Олимпиаде Кузьминой и Елене Черкасовой). Из пятнадцати его детей большинство умерли в младенческом и детском возрасте. До совершеннолетия дожили только четверо: дочери Людмила и Юлия от второго брака и сыновья Владимир и Александр от третьего.