Родился 8 февраля 1964 г. в с. Панфилово Иртышского района Павлодарской области Казахской ССР (ныне Республика Казахстан). Его родители - немцы, были депортированы в Казахстан из Украины после начала Великой Отечественной войны в 1941 г.
В 1990 г. Герман Греф окончил юридический факультет Омского государственного университета по специальности "правоведние", в 1993 г. - аспирантуру Санкт-Петербургского государственного университета.
Кандидат экономических наук. Диссертацию на тему "Развитие и перспективы структурных институциональных реформ в российской экономике" защитил в 2011 г. в Академии народного хозяйства при правительстве РФ (ныне Российская академия народного хозяйства и государственной службы при президенте РФ).
В 1990 г. - преподаватель юридического факультета Омского государственного университета.
С 1991 г. Герман Греф работал юрисконсультом, затем председателем комитета по управлению имуществом - заместителем главы в администрации Петродворцовского района г. Санкт-Петербурга.
С октября 1994 г. по июль 1997 г. - заместитель председателя - директор департамента недвижимого имущества Комитета по управлению городским имуществом (КУГИ) администрации г. Санкт-Петербурга. В июле - августе 1997 г. - первый заместитель председателя КУГИ, затем и. о. руководителя КУГИ.
С августа 1997 г. по август 1998 г. - вице-губернатор - председатель КУГИ администрации г. Санкт-Петербурга (губернатором города в это время был Владимир Яковлев). В качестве представителя городских властей входил в советы "Морского порта Санкт-Петербург", "Петербург - 5-й канал", "Ленэнерго" и др. компаний. С января 1998 г. входил в состав коллегии Министерства государственного имущества РФ.
С 12 августа 1998 г. по 24 мая 2000 г. - первый заместитель министра государственного имущества РФ. Руководителями ведомства в то время были Александр Браверман, затем Фарит Газизуллин.
С 1999 по 2011 г. был председателем совета Центра стратегических разработок (ЦСР). В 2000 г. этот центр занимался разработкой предвыборной программы кандидата в президенты РФ Владимира Путина.
С 18 мая 2000 г. по 24 сентября 2007 г. Герман Греф занимал должность министра экономического развития и торговли РФ в правительствах Михаила Касьянова (в 2023 г. включен в реестр иноагентов) и Михаила Фрадкова. Был заместителем председателя комиссии правительства РФ по координации деятельности федеральных органов исполнительной власти и органов государственной власти субъектов РФ по реализации соглашений о разделе продукции, с 2005 г. возглавлял комиссию по формированию списка проектов, претендовавших на получение средств из Инвестиционного фонда РФ.
В 2001-2003 гг. был председателем совета директоров ОАО "Международный аэропорт Шереметьево". Также входил в советы директоров "Газпрома", "РАО ЕЭС", "Роснефти", "Аэрофлота" и "Связьинвеста".
С 28 ноября 2007 г. - президент, председатель правления ПАО "Сбербанк". Сменил на этом посту Андрея Казьмина.
Председатель попечительского совета Национального исследовательского университета "Высшая школа экономики" и фонда поддержки слепоглухих "Со-единение".
Входит в состав наблюдательного совета автономной некоммерческой организации "Агентство стратегических инициатив по продвижению новых проектов" (Агентство стратегических инициатив). Член попечительского совета Мариинского театра.
Действительный государственный советник РФ I класса (2000 г.).
Награжден орденами Александра Невского, "За заслуги перед Отечеством" II (2019), III (2011) и IV (2007) степеней, Почета (2014), медалью П. А. Столыпина II степени (2009). Отмечен Почетной грамотой президента РФ (2009), благодарностями президента (2004) и правительства РФ (2016). Лауреат премии правительства РФ в области науки и техники за 2018 г.
Также является офицером французского ордена Почетного легиона (2010). В 2021 г. был награжден итальянским орденом Звезды командорской степени, в 2022 г. лишен награды решением президента Италии Серджо Маттареллы.