Родился 14 июня 1835 г. в Москве в небогатой купеческой семье. Его старший брат - Антон Рубинштейн (1829-1894) - стал известным композитором и пианистом, инициатором создания Санкт-Петербургской консерватории.
С четырех лет Николай Рубинштейн обучался игре на фортепиано под руководством матери. Уже в детстве выступал в Москве и других городах. В 1844-1846 гг. проживал с матерью и братом в Берлине, где брал уроки у пианиста Теодора Куллака. Также изучал теорию музыки, его педагогом был Зигфрид Ден. В 1847-1849 гг. совершенствовал мастерство игры на фортепиано в Москве под руководством Александра Виллуана. В 1849 г., в возрасте 14 лет, самостоятельно начал давать фортепианные уроки.
В 1855 г. Николай Рубинштейн окончил юридический факультет Императорского Московского университета (ныне Московский государственный университет им. М. В. Ломоносова), получив чин губернского секретаря. После этого непродолжительное время служил в канцелярии Московского гражданского губернатора.
В 1857 г., оставив карьеру чиновника, стал учителем музыки Московского сиротского института императора Николая I (работал до 1859 г.).
В 1859 г. возобновил концертную деятельность. Участвовал в симфонических и камерных собраниях Русского музыкального общества (РМО) в Санкт-Петербурге и в благотворительных концертах Московского университета. Его репертуар включал фортепианные произведения Иоганна Себастьяна Баха, Людвига ван Бетховена, Фредерика Шопена, Ференца Листа и др.
В 1860-1881 гг. Николай Рубинштейн был директором Русского музыкального общества в Москве, дирижером его симфонических концертов. Внес значительный вклад в формирование русской дирижерской школы.
В 1860 г. основал музыкальные классы РМО, преобразованные в 1866 г. в Московскую консерваторию (ныне Московская государственная консерватория им. П. И. Чайковского) - высшее учебное профессиональное заведение для представителей всех сословий. До конца жизни оставался ее директором и профессором фортепианного класса. Среди его учеников были Сергей Танеев (1856-1915) и Александр Зилоти (1863-1945), ставшие известными пианистами.
В 1877 г. провел концертное турне по городам России в помощь раненым в ходе Русско-турецкой войны.
Николай Рубинштейн сыграл важную роль в популяризации творчества Петра Чайковского. Среди исполненных им произведений композитора: первые четыре симфонии, Первая сюита, симфоническая поэма "Фатум", увертюра-фантазия "Ромео и Джульетта", симфоническая фантазия "Франческа да Римини", "Итальянское каприччио".
В 1878 г. Николай Рубинштейн сыграл Первый фортепианный концерт Чайковского во время Всемирной выставки в Париже. Выступление впечатлило публику и принесло ему славу одного из лучших пианистов своего времени.
В 1879 г. по настоянию Чайковского дирижировал премьерой его оперы "Евгений Онегин", поставленной в Малом театре силами учеников Московской консерватории.
Николай Рубинштейн скончался 23 (11 по старому стилю) марта 1881 г. в Париже на 46-м году жизни. Был погребен в Москве в некрополе Данилова монастыря. В 1931 г. останки перезахоронены на столичном Новодевичьем кладбище.
В связи с награждением орденом святого Владимира IV степени (1876) получил потомственное дворянство. Также был удостоен орденов святой Анны II степени, князя Даниила Первого III степени (Черногория), Почетного легиона (Франция).
Николай Рубинштейн был женат на Елизавете Хрущевой. Супруги расстались после нескольких лет семейной жизни, но формально брак расторгнут не был.