Родился 20 октября 1946 г. в с. Семигоровка Терновского района Воронежской области в крестьянской семье. Его отец работал главным бухгалтером в колхозе.
В 1968 г. с отличием окончил механический факультет Волгоградского сельскохозяйственного института (ВСХИ; ныне Волгоградский государственный аграрный университет) по специальности "инженер-механик", в 1974 г. - аспирантуру института (заочно). В 1991 г. окончил Академию общественных наук при ЦК КПСС, в 1993 г. - Дипломатическую академию МИД РФ.
Кандидат технических наук (1974), доктор политических наук (1995), профессор.
После окончания института работал старшим инженером в колхозе "Заветы Ильича" Новоаннинского района Волгоградской области. В 1969-1970 гг. служил в частях ВВС Советской Армии.
В 1970 г. вступил в КПСС.
В 1974-1987 гг. работал ассистентом, старшим преподавателем, доцентом, заведующим кафедрой механизации и автоматизации животноводства, заместителем декана механического факультета ВСХИ. С 1983 г. был секретарем парткома института.
В 1987 г. назначен первым секретарем Советского райкома КПСС Волгограда, в 1989 г. избран вторым секретарем Волгоградского обкома партии.
В 1990 г. был направлен делегатом на учредительный съезд Компартии (КП) РСФСР, хотя изначально выступал против создания российского регионального отделения КПСС. В 1991 г. вошел в состав Центрального комитета КП РСФСР, заведовал отделом по связи с Советами народных депутатов.
В 1990 г. избран народным депутатом РСФСР по 312-му Советскому территориальному округу (Волгоград). Стал одним из сопредседателей депутатской фракции "Коммунисты России". Голосовал за исключение из конституции РСФСР ст. 6 о руководящей роли КПСС. В 1992-1993 гг. входил в оппозиционный парламентский блок "Российское единство". Работал на постоянной основе в комитете Верховного совета РФ по вопросам работы Советов народных депутатов и развитию самоуправления.
После попытки государственного переворота в августе 1991 г. указом президента РФ Бориса Ельцина деятельность КПСС и КП РСФСР на территории России была прекращена, имущество партий национализировано. Иван Рыбкин стал одним из подписавших обращение в Конституционный суд РФ с требованием признать запрет компартий незаконным.
В 1991 г. - один из основателей и сопредседателей Социалистической партии трудящихся (вместе с Роем Медведевым, Анатолием Денисовым, Михаилом Лапшиным и др.).
В декабре 1992 г. избран депутатом Совета Республики Верховного совета РФ.
13-14 февраля 1993 г. на II чрезвычайном съезде Компартии РСФСР (восстановительно-объединительном) была образована Коммунистическая партия РФ. Иван Рыбкин был избран членом Центрального исполнительного комитета (ЦИК) КПРФ, заместителем председателя ЦИК Геннадия Зюганова (занимал пост до апреля 1994 г.).
Во время столкновений между сторонниками президента и Верховного совета РСФСР в октябре 1993 г. выступал в поддержку парламента. До декабря того же года Иван Рыбкин работал заместителем начальника Главного управления мелиорации и водного хозяйства Министерства сельского хозяйства РФ.
12 декабря 1993 г. избран депутатом Государственной думы РФ I созыва по списку Аграрной партии России (АПР; был членом партии в 1994-1995 гг.). Вошел в состав партийной фракции. Был выдвинут Аграрной партией на пост спикера Госдумы. В выборах председателя нижней палаты парламента 13 января 1994 г. участвовали шесть кандидатов. Во второй тур вышли Иван Рыбкин (за - 233, против - 165) и известный тяжелоатлет, публицист Юрий Власов от незарегистрированного депутатского объединения "Российский путь" (за - 200, против - 163). Перед началом второго тура Власов призвал своих сторонников отдать голоса в пользу своего соперника. В результате 14 января 1994 г. Иван Рыбкин был избран председателем Госдумы I созыва (за - 223, против - 111). Власов набрал 23 голоса "за" и 311 "против".
В мае 1994 г. Иван Рыбкин указом президента вместе с главой Совета Федерации Владимиром Шумейко был введен в состав Совета безопасности РФ.
В 1995 г. создал и возглавил движение "Согласие".
8 июня 1995 г. был избран председателем общественного объединения "Регионы России" (сопредседатели Артур Чилингаров, Олег Морозов, Владимир Васильев и др.). 21 июля 1995 г. был создан "Блок левоцентристской ориентации", переименованный затем в "Блок Ивана Рыбкина", основой которого стали движение "Согласие" и объединение "Регионы России". Однако на выборах в Госдуму 17 декабря 1995 г. блок не смог преодолеть 5-процентный барьер и в парламент не прошел.
17 декабря 1995 г. Иван Рыбкин был избран депутатом Госдумы РФ II созыва по Аннинскому одномандатному округу № 74 (Воронежская область). Он не вошел ни в одну из фракций или депутатских групп. Был членом думского комитета по международным делам. 16 января 1996 г. был выдвинут на пост спикера депутатом Аграрной группы Александром Мальцевым, поддержан фракцией "Наш дом - Россия". Проиграл выборы Геннадию Селезневу от КПРФ. В первом туре 16 января набрал 166 голосов против 216, отданных за Селезнева. По итогам второго и третьего тура 17 января получил 51 и 150 голосов соответственно (Селезнев - 219 и 231).
С 1996 г. по 2002 г. возглавлял Социалистическую партию России.
На президентских выборах 1996 г. выступил в поддержку Бориса Ельцина. В июне того же года возглавил созданный при главе государства Политический консультативный совет и занимал этот пост до ликвидации совета в 2000 г.
19 октября 1996 г. был назначен секретарем Совета безопасности РФ и полномочным представителем президента РФ в Чеченской Республике, сменив Александра Лебедя. Во время работы в Совбезе одним из заместителей Ивана Рыбкина был Борис Березовский.
С февраля по март 1997 г. возглавлял комиссию по разработке договора между РФ и Чечней, затем руководил Федеральной комиссией по проблемам Чеченской Республики.
8 октября 1997 г. освобожден от должности полпреда в Чечне. 2 марта 1998 г. освобожден также с поста председателя Совбеза и назначен вице-премьером по сотрудничеству со странами СНГ в правительстве Виктора Черномырдина.
С 14 мая 1998 г. по 29 января 2000 г. - полномочный представитель президента РФ в государствах-участниках СНГ (в ранге вице-премьера), затем до июня того же года исполнял обязанности полпреда.
В 2002 г. основал Социалистическую единую партию "Духовное наследие".
В июне 2002 г. опубликовал открытое письмо к президенту РФ Владимиру Путину в газете "Коммерсант", в котором предложил, в частности, начать мирные переговоры с "законным президентом" Чечни Асланом Масхадовым, а также высказался в защиту Бориса Березовского. Выступал против экстрадиции в Россию "эмиссара республики Ичкерия" Ахмеда Закаева, с которым встречался на Западе. В итоге, в 2003 г., был исключен из Социалистической единой партии и лишен поста ее председателя за "призывы к переговорам с чеченскими сепаратистами" и "порочащие связи" с Березовским.
В июле 2003 г. члены расколовшейся партии "Либеральная Россия", поддерживающие Бориса Березовского, проголосовали за избрание Ивана Рыбкина председателем партии.
В декабре 2003 г. при поддержке "Либеральной России" был выдвинут кандидатом на пост президента РФ (выборы были назначены на 14 марта 2004 г.). Избирательную кампанию начал с громких политических заявлений в адрес своего соперника - президента РФ Владимира Путина, которого назвал "самым крупным олигархом" и обвинил в связях с российским бизнесом.
Вечером 5 февраля 2004 г. Иван Рыбкин исчез из Москвы. Через три дня его супруга обратилась с заявлением в правоохранительные органы, был начат розыск. Однако уже 10 февраля Иван Рыбкин сообщил главе своего предвыборного штаба, что "никуда не пропадал" и находится в Киеве. В тот же день он вернулся в Москву. Изначально утверждал, что "отдыхал у друзей", затем, что поехал на встречу с некими лицами, имен которых не называл. Позднее сообщил, что его исчезновение было "тщательно спланировано". Он был приглашен в столицу Украины Бекханом Арсалиевым (входил в комиссию по розыску без вести пропавших в Чечне) под предлогом встречи с Масхадовым. В Киеве якобы был отравлен наркотическим препаратом, четыре дня провел в беспамятстве и подвергся шантажу с требованием снять кандидатуру с выборов. При этом обвинений в чей-либо адрес не выдвинул.
11 февраля 2004 г. вылетел в Лондон, где прошел медицинское обследование, которое однако не выявило факта отравления. 5 марта, вернувшись из Великобритании, отказался от участия в президентских выборах.
В настоящее время не ведет публичной деятельности.
Действительный государственный советник РФ 1-го класса (1998).
Награжден орденом "За заслуги перед Отечеством" III степени (1996).
Автор книг "Государственная дума: пятая попытка" (1995), "Согласие в Чечне. Согласие в России" (1998; на английском языке).
Женат. Супруга Альбина Николаевна (брак заключен в 1972 г.). Дочери Лариса (род. 1975) и Екатерина (род. 1979).