Родился 8 февраля 1964 г. в с. Панфилово Иртышского района Павлодарской области Казахской ССР. Родители - этнические немцы, были депортированы в Казахстан из Украины после начала Великой Отечественной войны в 1941 г.
В 1990 г. окончил юридический факультет Омского государственного университета по специальности "правоведние" (деканом факультета в то время был Сергей Бабурин), в 1993 г. - аспирантуру Санкт-Петербургского государственного университета.
Кандидат экономических наук. Диссертацию на тему "Развитие и перспективы структурных институциональных реформ в российской экономике" защитил в 2011 г. в Академии народного хозяйства при правительстве РФ (ныне - Российская академия народного хозяйства и государственной службы при президенте РФ).
В 1990 г. - преподаватель юридического факультета Омского государственного университета.
С 1991 г. Герман Греф работал юрисконсультом, затем председателем комитета по управлению имуществом - заместителем главы в администрации Петродворцовского района г. Санкт-Петербурга.
С октября 1994 г. по июль 1997 г. - заместитель председателя - директор департамента недвижимого имущества Комитета по управлению городским имуществом (КУГИ) администрации г. Санкт-Петербурга.
В июле - августе 1997 г. - первый заместитель председателя КУГИ, затем и. о. руководителя КУГИ.
С августа 1997 г. по август 1998 г. - вице-губернатор - председатель КУГИ администрации г. Санкт-Петербурга (губернатором города в это время был Владимир Яковлев). В качестве представителя городских властей входил в советы "Морского порта Санкт-Петербург", "Петербург - 5-й канал", "Ленэнерго" и др. компаний. С января 1998 г. входил в состав коллегии Министерства государственного имущества РФ.
С 12 августа 1998 г. по 24 мая 2000 г. - первый заместитель министра государственного имущества РФ. Руководителями ведомства в то время были Александр Браверман и Фарит Газизуллин.
С 1999 г. по 2011 г. был председателем совета Центра стратегических разработок (ЦСР), занимавшегося в то время разработкой предвыборной программой кандидата в президенты РФ Владимира Путина.
С 18 мая 2000 г. по 24 сентября 2007 г. занимал должность министра экономического развития и торговли РФ в правительствах Михаила Касьянова и Михаила Фрадкова. Был заместителем председателя комиссии правительства РФ по координации деятельности федеральных органов исполнительной власти и органов государственной власти субъектов РФ по реализации соглашений о разделе продукции, с 2005 г. возглавлял комиссию по формированию списка проектов, претендовавших на получение средств из Инвестиционного фонда РФ.
В 2001-2003 гг. был председателем совета директоров ОАО "Международный аэропорт Шереметьево". Также входил в советы директоров "Газпрома", "РАО ЕЭС", "Роснефти", "Аэрофлота" и "Связьинвеста".
С 28 ноября 2007 г. - президент, председатель правления ПАО "Сбербанк". Сменил на этом посту Андрея Казьмина.
Председатель попечительского совета Национального исследовательского университета "Высшая школа экономики" и фонда поддержки слепоглухих "Со-единение".
Входит в состав наблюдательного совета автономной некоммерческой организации "Агентство стратегических инициатив по продвижению новых проектов" (Агентство стратегических инициатив).
В 2014-2020 гг. был членом совета директоров компании "Яндекс".
С февраля 2022 г. - специальный представитель президента РФ по вопросам продвижения заявки Москвы на право проведения Экспо-2030 (на общественных началах).
Сведений о доходе Герман Греф не публиковал. По данным отчетности ПАО "Сбербанк", ему принадлежит 0,0044% акций кредитного учреждения.
Действительный государственный советник РФ I класса (2000 г.).
Награжден орденами Александра Невского, "За заслуги перед Отечеством" II (2019), III (2011) и IV (2007) степеней, Почета (2014), медалью Столыпина П. А. II степени (2009). Отмечен благодарностью правительства РФ (2016). Также является офицером французского ордена Почетного легиона (2010) и итальянским орденом Звезды командорской степени (2021, в 2022 г. лишен ее решением президента Италии Серджо Маттареллы).