Родился 8 июня 1837 г. в г. Острогожск (Воронежская губерния Российской империи, ныне Воронежская область РФ) в семье письмоводителя городской думы.
В 1850 г. окончил Острогожское уездное училище, после чего непродолжительное время был учеником иконописца в Воронеже. В первой половине 1850-х гг. в качестве ретушера странствовал с фотографом Яковом Данилевским по городам Российской империи.
В 1857 г. поступил в Санкт-Петербурге в Императорскую академию художеств (ИАХ), где учился под руководством профессора Алексея Маркова.
В 1863 г. Иван Крамской получил малую золотую медаль ИАХ за картину "Моисей источает воду из скалы". В том же году он в числе 14 лучших учеников, допущенных до соревнования за первую золотую медаль, обратился в Совет академии с просьбой заменить конкурсное задание (стандартный по методике обучения мифологический сюжет) на свободный выбор темы. После отказа все они покинули ИАХ и образовали Артель художников - первое в истории российского изобразительного искусства независимое творческое объединение. Ее возглавил Иван Крамской. Это событие принято считать первым выступлением сторонников зарождающейся русской школы реалистической живописи против академического направления в изобразительном искусстве XIX в., утверждавшего предметом искусства лишь "идеально прекрасное". В 1870 г. объединение распалось, однако в том же году Иван Крамской и еще 13 петербургских и московских живописцев (Василий Перов, Алексей Саврасов, Николай Ге, Иван Шишкин и др.) основали новое общество - Товарищество передвижных художественных выставок (ТПХВ).
С 11 декабря (29 ноября по старому стилю) 1871 г. по 14 января (2 января по старому стилю) 1872 г. в залах Императорской академии художеств прошла первая выставка ТПХВ. На ней было представлено 47 полотен разных жанров, написанных 16 художниками, в т. ч. "Майская ночь. Русалки" и "Портрет Федора Васильева" Ивана Крамского. Творчество передвижников получило поддержку со стороны московского мецената, основателя художественной галереи Павла Третьякова (1832-1898). В 1870-1880-е гг. по его заказу Иван Крамской написал ряд портретов видных представителей русской культуры и науки: писателей Льва Толстого (1873), Ивана Гончарова (1874), Дмитрия Григоровича (1876) и Михаила Салтыкова-Щедрина (1879), художника Ивана Шишкина (1873), врача Сергея Боткина (1880), философа Владимира Соловьева (1885).
По мнению искусствоведов, центральным произведением в творчестве Ивана Крамского является полотно "Христос в пустыне" (1872). Художник интерпретирует евангельский сюжет в морально-философском плане, воплощая в картине идею героического самопожертвования. Библейская тематика развивалась им в полотнах "Хохот" ("Радуйся, царю иудейский!", 1877-1880-е гг.; не завершена) и "Иродиада" (1884-1886).
Демократические взгляды художника нашли выражение в портретах крестьян, передавших внутреннее достоинство "людей из народа" (1874 -"Полесовщик", 1882 - "Мина Моисеев", 1883 - "Крестьянин с уздечкой").
К числу наиболее известных полотен, созданных Иваном Крамским в последнее пятилетие жизни, относятся "Неизвестная" (1883, портрет молодой женщины, проезжающей в открытом экипаже по Невскому проспекту), "Неутешное горе" (1884, изображение скорбящей женщины в траурном одеянии) и "Портрет Александра III" (1886).
Картины художника находятся в Государственной Третьяковской галерее, Государственном Русском музее (Санкт-Петербург), Саратовском художественном музее им. А. Н. Радищева, Национальном художественном музее Белоруссии (Минск) и др.
Иван Крамской скончался 5 апреля (24 марта по старому стилю) 1887 г. в Санкт-Петербурге на 50-м году жизни. Был похоронен в этом же городе на Смоленском кладбище. В 1939 г. прах перенесен на Тихвинское кладбище Александро-Невской лавры.