Родился 19 ноября 1946 г. в с. Затишное Криничанского района Днепропетровской области Украинской ССР (ныне - Украина).
В 1966 г. окончил Марганцевский горный техникум (Днепропетровская обл.), в 1974 г. - инженерный факультет Университета дружбы народов им. Патриса Лумумбы (ныне - Российский университет дружбы народов, РУДН) по специальности "разработка месторождений полезных ископаемых".
Кандидат технических наук (1981).
Доктор экономических наук. В 2004 г. в Центральном экономико-математическом институте Российской академии наук защитил диссертацию на тему "Система образования как фактор социально-экономического развития России: принципы и организационно-экономические методы управления".
Профессор.
В 1967-1969 гг. служил в рядах Советской Армии.
В 1974-1987 гг. - ассистент, старший преподаватель, доцент Университета дружбы народов. Заместитель секретаря, секретарь парткома университета. Избирался секретарем комитета ВЛКСМ.
С 1987 по 1991 г. - секретарь, второй, затем первый секретарь Черемушкинского районного комитета КПСС г. Москвы.
В 1991-1993 гг. занимал должность заместителя генерального директора по экономике АО "Мосстройремкомплект".
В 1993-1998 гг. - проректор по коммерческой деятельности, первый проректор по экономической деятельности РУДН (ректор - Владимир Филиппов).
30 октября 1998 г. назначен заместителем министра общего и профессионального образования РФ Владимира Филиппова. 25 мая 1999 г. ведомство преобразовано в Министерство образования РФ. Григорий Балыхин занял должность заместителя министра.
4 января 2000 г. стал первым заместителем министра образования РФ (министр - Владимир Филиппов).
13 марта 2004 г. распоряжением правительства России назначен руководителем Федерального агентства по образованию.
Входил в состав Российской трехсторонней комиссии по регулированию социально-трудовых отношений, рабочей (трехсторонней) группы по совершенствованию межбюджетных отношений в РФ, коллегию Министерства образования и науки России, совет Минобрнауки РФ по федеральным государственным образовательным стандартам, Аттестационную комиссию МИД России. Являлся заместителем председателя Аттестационной комиссии Министерства образования и науки РФ.
С 2007 по 2021 г. - депутат Государственной думы РФ V-VII созывов, член фракции "Единая Россия". Председатель комитета Госдумы по образованию (2007-2011).
2 декабря 2007 г. избран депутатом Госдумы РФ V созыва по списку партии "Единая Россия" (региональная группа №76, Ульяновская обл.). 24 декабря 2007 г. возглавил думский комитет по образованию.
4 декабря 2011 г. вновь был избран депутатом Государственной думы VI созыва от "Единой России" (региональная группа №74, Ульяновская обл.). Входил в комитет ГД по образованию, комиссию по контролю за достоверностью сведений о доходах, об имуществе и обязательствах имущественного характера, представляемых депутатами.
18 сентября 2016 г. был избран в Госдуму VII созыва по списку кандидатов "Единой России" (региональная группа №14, Оренбургская, Самарская, Ульяновская области). Вступил в партийную фракцию.
Член редакционного совета журнала "Высшее образование сегодня".
Действительный государственный советник РФ I класса (2000).
Награжден орденами Трудового Красного Знамени (1986), Дружбы (1997), "За заслуги перед Отечеством" IV и III степеней (2002; 2006), медалями "За трудовое отличие" (1975), П. А. Столыпина II и I степеней (2011, 2019). Награжден также Почетной грамотой правительства РФ (2001).
Член-корреспондент Российской академии образования. Член президиума академии.
Лауреат премии правительства РФ за 2002 г. в области науки и техники (за разработку и реализацию программы энергосбережения в системе Министерства образования РФ).
Академик Международной академии наук педагогического образования, Академии проблем безопасности, обороны и правопорядка.
Автор более 200 научных работ, в т. ч. пяти монографий. Среди них "Современные подходы к управлению в интеллектуальной сфере" (в соавторстве; 2008), "Наука - образование - инновации: словарь-справочник по инновационному образованию" (в соавторстве с сыном Михаилом; 2014) и др.
Владеет французским языком.