Родился 4 ноября 1894 г. (23 октября 1894 г. по старому стилю) в селе Малый Выстороп Харьковской губернии Российской империя (ныне Сумская область, Украина) в семье рабочего.
Учился в местной церковно-приходской школе, которую окончил в 13 лет. Затем работал на сахарном заводе, а в 1912 г. устроился токарем на паровозостроительный завод в Харькове.
В 1914 г. был призван на военную службу в Русскую императорскую армию и вскоре был направлен в действующую армию на Галицийский фронт Первой мировой войны 1914-1918 гг. Воевал в составе 82-й пехотной дивизии под Перемышлем на Юго-Западном фронте. Был ранен.
После Февральской революции 1917 г. вернулся в родное село, где вступил в рабочую дружину сахарного завода. После Октябрьской революции 1917 г. под руководством Павла Рыбалко эта дружина вошла в отряд Красной гвардии в г. Лебедин (ныне Сумская область Украины).
С февраля 1918 г. Павел Рыбалко в должности помощника командира партизанского отряда воевал на Украине против германских, австро-венгерских интервентов, войск гетмана Павла Скоропадского и атамана Семена Петлюры. С августа 1918 г. находился в плену, из которого был освобожден в декабре того же года. После этого был назначен помощником начальника политпросвета в Лебединском военном комиссариате.
Участник Гражданской войны 1917-1922 гг. В 1919 г. был принят в ряды Рабоче-крестьянской Красной армии (РККА) - с марта командовал боевым отрядом уездной Всероссийской чрезвычайной комиссии, затем ротой 1-го Лебединского стрелкового полка, а в сентябре 1919 г. стал командиром этого полка. С 1920 г. - комиссар 1-й кавалерийской бригады 14-й кавалерийской дивизии 1-ой конной армии. Воевал против войск атамана Никифора Григорьева и генерала Антона Деникина на Южном и Юго-Западном фронтах, а также против белополяков на львовском направлении Западного фронта. В октябре 1920 г. сражался с войсками генерала Петра Врангеля в Северной Таврии, а позже - с бандами Нестора Махно на Украине. Неоднократно был ранен.
В 1921-1924 гг. занимал должности заместителя комиссара 83-го, комиссара 84-го кавалерийского полка 14-й кавалерийской дивизии в Северо-Кавказском военном округе (ВО). После этого был переведен в Московский ВО на должность комиссара 61-го кавполка 1-й особой кавбригады.
В 1926 г. окончил Курсы усовершенствования высшего начсостава при Военной академии им. М. В. Фрунзе (ныне Военный учебно-научный центр Сухопутных войск "Общевойсковая академия Вооруженных Сил Российской Федерации"). Был назначен командиром отдельного кавалерийского эскадрона при советском посольстве в Улан-Баторе (Монгольская народная республика, ныне Монголия).
В 1926-1927 гг. командовал 75-м кавалерийским полком 5-й отдельной кубанской кавалерийской бригады в Сибирском ВО. В 1927-1928 гг. был командиром и комиссаром дивизиона Отдельной кавалерийской дивизии; в 1928-1929 гг. - командиром и комиссаром казачьего полка и временно исполняющим должность командира 1-й кавалерийской бригады 2-й кавалерийской дивизии; в 1929-1931 гг. - командиром и комиссаром 7-го кавалерийского Черниговского полка Червонного казачества 2-й кавалерийской дивизии в Украинском ВО. Параллельно в 1930 г. окончил Стрелково-тактические курсы усовершенствования командного состава РККА "Выстрел" им. Коминтерна. В 1934 г. стал выпускником кавалерийского отделения основного факультета Военной академии им. М. В. Фрунзе.
В 1934 г. Павел Рыбалко был направлен в качестве военного советника в Китай, где участвовал в борьбе против уйгурских повстанцев в провинции Синьцзян. В феврале 1936 г. стал помощником командира 8-й Туркестанской горно-кавалерийской дивизии Среднеазиатского ВО. С 1937 г. служил военным атташе в Польше, однако после захвата германскими войсками польской территории в 1939 г. полномочия Рыбалко в этой стране были прекращены. В 1940 г. был направлен военным атташе в Китай.
В начале Великой Отечественной войны 1941-1945 гг. Павел Рыбалко находился в распоряжении разведывательного управления Генерального штаба РККА, а в сентябре 1941 г. был назначен начальником кафедры разведки Высшей специальной школы Генштаба в Казани (Татарская АССР, ныне Татарстан, РФ). В июне 1942 г. в должности заместителя командующего 3-й танковой армией был направлен в действующую армию. Спустя несколько месяцев принял командование 5-й танковой армией, участвовавшей в Сталинградской битве. Осенью 1942 г. Павел Рыбалко возглавил 3-ю танковую армию (в апреле 1943 г. переименована в 57-ю армию), принимавшую участие в Острогожско-Россошанской и Харьковской операциях. В июне 1943 г. был назначен командиром вновь сформированной 3-й гвардейской танковой армии, участвовавшей впоследствии в Курской битве, а также в Киевской, Житомирско-Бердической, Проскуряковско-Черновицкой, Львовско-Сандомирской, Сандомиро-Силезской, Нижне-Силезской, Берлинской и Пражской операциях.
После войны Павел Рыбалко продолжил командовать 3-й гвардейской танковой армией, которая была включена в состав Группы советских войск в Германии и во второй половине 1945 г. переформирована в 3-ю гвардейскую механизированную армию. В 1946 г. был назначен первым заместителем командующего бронетанковыми и механизированными войсками Советской армии, в 1947 г. стал командующим этими войсками.
Избирался депутатом Верховного Совета СССР второго созыва (1946-1948 гг.).
Павел Рыбалко скончался 28 августа 1948 г. на 53-м году жизни. Похоронен на Новодевичьем кладбище в Москве.
Маршал бронетанковых войск (1945).
Дважды Герой Советского Союза (1943, 1945).
Был награжден двумя орденами Ленина (1943, 1945), тремя орденами Красного Знамени (1921, 1944, 1948), тремя орденами Суворова I степени (1943, 1944, 1945), орденом Кутузова I степени (1943), орденом Богдана Хмельницкого I степени (1944), медалями и иностранными наградами.
