Родился 17 ноября 1937 г. в г. Пятигорске Орджоникидзевского (ныне Ставропольского) края.
В 1961 г. окончил Ленинградский политехнический институт (ныне Санкт-Петербургский политехнический университет Петра Великого) по специальности "турбиностроение".
Кандидат технических наук.
После окончания вуза начал работать на судостроительном заводе "Красное Сормово" в г. Горьком (ныне Нижний Новгород). Был строителем судов, заместителем начальника и начальником цеха, заместителем главного инженера, главным инженером.
С мая 1984 г. по январь 2018 г. - генеральный директор завода "Красное Сормово". Также с 2000-х гг. являлся совладельцем предприятия, напрямую владел 1% акций завода. Под руководством Николая Жаркова было построено 105 подводных лодок (26 - с атомными энергетическими установками), а также 25 глубоководных спасательных и рабочих аппаратов.
15 июня 2018 г. оставил должность генерального директора ПАО "Завод "Красное Сормово" в связи с истечением своих полномочий. С 2018 г. работал советником гендиректора ПАО "Завод "Красное Сормово" Михаила Першина.
Николай Жарков скончался 15 апреля 2022 г. на 85-м году жизни.
Избирался в Горьком депутатом районного и городского Совета народных депутатов нескольких созывов.
Герой Труда РФ (2019). Награжден орденами Ленина, "Знак Почета, "За заслуги перед Отечеством" II степени (2017).
Лауреат премии Совета министров СССР, Государственной премии РФ в области науки и техники (1996).
Почетный судостроитель (2004).
Почетный гражданин Нижнего Новгорода (1997) и Нижегородской области (2017).