Родился 13 декабря 1930 г. в г. Борисоглебске Воронежской области. Отец - Николай Николаевич Рыбников (1903-1944), с началом Великой Отечественной войны ушел на фронт. Мать, Клавдия Александровна, вместе с двумя детьми - Николаем и Вячеславом - уехала из Борисоглебска к сестре в Сталинград (ныне Волгоград). Но вскоре им пришлось эвакуироваться из осажденного города. В 1944 г. на фронте погиб отец, затем умерла мать.
После войны Николай Рыбников с братом вернулся в Сталинград. Там же закончил школу. В годы учебы занимался в самодеятельности, числился актером вспомогательного состава Сталинградского драматического театра.
После школы поступил в Сталинградский медицинский институт, но в 1948 г. уехал в Москву, где был принят во Всесоюзный государственный институт кинематографии (ВГИК, ныне Всероссийский государственный институт кинематографии им. С. А. Герасимова). Учился в мастерской Сергея Герасимова и Тамары Макаровой.
В 1951 г. был исключен из вуза за розыгрыш: спародировав голос известного советского диктора Юрия Левитана, зачитал в институте по радиосвязи якобы правительственное сообщение о снижении с 1 апреля розничных цен. Позднее Рыбникова восстановили во ВГИКе. Эта история впоследствии легла в основу сюжета фильма Петра Тодоровского "Какая чудная игра" (1995).
В 1953 г. Николай Рыбников окончил ВГИК и был принят в Театр-студию киноактера (ныне Центр театра и кино под руководством Никиты Михалкова).
Дебютировал в кино в эпизоде фильма Сергея Герасимова "Сельский врач" (1951). Затем снялся в картинах Алексея Маслюкова "Команда с нашей улицы" (впервые - в одной картине со своей будущей женой Аллой Ларионовой) и Бориса Бунеева "Таинственная находка" (обе - 1953), а также в комедии Семена Тимошенко "Запасной игрок" (1954).
В 1954 г. вышел фильм режиссеров Александра Алова и Владимира Наумова "Тревожная молодость", в котором Николай Рыбников сыграл роль Котьки Григоренко. В 1955 г. он был приглашен на главную роль механизатора Федора Соловейкова в драму "Чужая родня" Михаила Швейцера (по мотивам повести Владимира Тендрякова "Не ко двору"). Супругу главного героя сыграла Нонна Мордюкова.
Популярность пришла к Николаю Рыбникову после фильма "Весна на Заречной улице" (1956), снятого режиссерами Феликсом Миронером и Марленом Хуциевым. Актер сыграл в нем главную роль - бригадира сталеваров Александра Савченко. "Весна на Заречной улице" в 1956 г. стала лидером проката, собрав более 30,1 млн зрителей.
В 1957 г. Николай Рыбников снялся в еще одном популярном советском фильме - драме "Высота" режиссера Александра Зархи по одноименному роману Евгения Воробьева, в 1958 г. - в лирической комедии Эльдара Рязанова "Девушка без адреса".
Позднее актер сыграл в фильмах “Кочубей” (1958, режиссер Юрий Озеров), “Нормандия - Неман” (1960, Жан Древиль, СССР - Франция), “Две жизни” (1961, Леонид Луков) и др.
В 1962 г. на экраны вышла комедия "Девчата" режиссера Юрия Чулюкина по одноименной повести Бориса Бедного, в которой Рыбников, сыгравший роль лесоруба Ильи Ковригина, снялся вместе с Надеждой Румянцевой. Эта картина имела огромный зрительский успех, в 1962 г. в СССР ее посмотрели почти 35 млн зрителей.
Среди других фильмов 1960-1970-х гг. с участием актера - "Им покоряется небо" (1963, Татьяна Лиознова), "Разбудите Мухина!" (1967, Яков Сегель), "Война и мир" (1967, Сергей Бондарчук), "Освобождение" (1968, Юрий Озеров), "Седьмое небо" (1971, Эдуард Бочаров).
В 1964 г. Николаю Рыбникову было присвоено звание заслуженного артиста РСФСР, в 1981 г. - народного артиста РСФСР.
В конце 1970-х - 1980-х гг. актер снимался по большей части в эпизодических ролях. Самыми яркими работами этого периода стали роли в картинах "Семья Ивановых" (1975, Алексей Салтыков), "Вторая попытка Виктора Крохина" (1977, Игорь Шешуков; выпущена в прокат в 1987 г.), "Выйти замуж за капитана" (1985, Виталий Мельников). Согласно опросу журнала "Советский экран" (1986), Николай Рыбников был признан лучшим актером эпизода за роль пенсионера Кондратия Петровича в мелодраме "Выйти замуж за капитана".
В 1990 г. актер сыграл свою последнюю роль - трактирщика Никифора - в драме Дмитрия Астрахана "Изыди!" по сценарию Олега Данилова.
Николай Рыбников скончался 22 октября 1990 г. в Москве на 60-м году жизни. Похоронен на Троекуровском кладбище.
С 1957 г. состоял в браке с Аллой Дмитриевной Ларионовой (1931-2000), популярной советской актрисой, народной артисткой РСФСР. В семье воспитывались две дочери: Алена (дочь Аллы Ларионовой и Ивана Переверзева; род. 1957) и Арина (1961-2004).