Родился 3 января 1929 г. в Ниде на Куршской косе (Литва) в семье Янкеля Гиршевича Гродберга и Розы Шимоновны Страж.
В 1955 г. с отличием окончил Московскую государственную консерваторию им. П.И. Чайковского по классам фортепиано и органа, был учеником Александра Гольденвейзера и Александра Гедике.
Детство вместе с семьей провел в Клайпеде, с 1939 г. проживал в Каунасе. После начала Великой Отечественной войны с родителями и братом эвакуировался в Наманган (Узбекская ССР, ныне Узбекистан). Посещал в этом городе местную музыкальную школу. После возвращения из эвакуации обучался игре на фортепиано в Вильнюсском музыкальном училище. Переехав в столицу, поступил в училище при Московской государственной консерватории им. П.И. Чайковского.
В 1955 г. по рекомендации Святослава Рихтера и Нины Дорлиак стал солистом Московской филармонии и выступал в ней последующие 60 лет жизни, исполняя на органе музыку различных эпох и направлений. Был известен в качестве интерпретатора сочинений Иоганна Себастьяна Баха. Первым из отечественных исполнителей представил публике органные произведения Клары Шуман и Феликса Мендельсона.
На протяжении карьеры сотрудничал со многими известными представителями мира классической музыки - дирижерами Евгением Мравинским, Кириллом Кондрашиным, Евгением Светлановым, оперными певицами Ириной Архиповой и Тамарой Синявской, виолончелистом Мстиславом Ростроповичем и др.
В 1960 - 1980-х гг. являлся заместителем председателя Совета по органостроению при Министерстве культуры СССР. Наладив сотрудничество с чехословацкими и восточногерманскими производителями органов, способствовал существенному увеличению количества этих музыкальных инструментов в Советском Союзе.
Помимо московской филармонии регулярно выступал с концертами в различных городах России, а также в Германии, Австрии и США.
С 1993 г. в Твери по инициативе Гродберга проводится Международный фестиваль музыки Баха, а с 2000 г. в Калининграде - Международный музыкальный фестиваль "Бахослужение". Возглавлял жюри Международного конкурса органистов им. Микаэла Таривердиева (1999, Калининград), принимал участие в работе жюри Международного конкурса им. Иоганна Себастьяна Баха (Лейпциг, Германия).
В 2000 г. "Радио России" выпустило в эфир цикл "Полвека на службе у Баха", включавший в себя 27 интервью с музыкантом.
Народный артист РФ (1992). Удостоен орденов Почета (2000), Дружбы (2010), "За заслуги перед Отечеством" IV степени (2004). Лауреат Государственной премии РФ в области литературы и искусства за 2001 г.
Почетный гражданин Твери (2005). Почетный член Баховского и Генделевского обществ (Германия).
Состоял в браке с Натальей Владимировной Гродберг, бывшей его ассистентом и архивариусом.