Родился 21 декабря 1904 г. (8 декабря 1904 г. по старому стилю) в гор. Александрия Херсонской губернии Российской империи (ныне Кировоградская область Украины) в крестьянской семье.
В 1920 г. был призван в Рабоче-крестьянскую Красную армию (РККА). Участвовал в Гражданской войне 1917-1922 гг. в составе 2-го кавалерийского полка 8-й кавалерийской дивизии Червонного казачества, воевал на Юго-Западном фронте.
После войны Петр Кошевой продолжил службу в кавалерийских частях РККА. В 1923 г. окончил Крымские кавалерийские курсы им. Крымского ЦИК, в 1927 г. стал выпускником Украинской кавалерийской школы им. С. М. Буденного. После прохождения бронетанковых курсов усовершенствования командного состава РККА в Ленинграде (ныне Санкт-Петербург) в 1932 г. был назначен начальником полковой школы 61-го кавалерийского полка Особой кавалерийской бригады Московского военного округа. В 1939 г. окончил Военную академию им. М. В. Фрунзе (ныне Военный учебно-научный центр Сухопутных войск "Общевойсковая академия Вооруженных Сил Российской Федерации"). С января 1939 г. являлся начальником штаба 15-й кавалерийской дивизии в Забайкальском военном округе, с февраля 1940 г. - командир 65-й стрелковой дивизии в том же военном округе.
После начала Великой Отечественной войны 65-я стрелковая дивизия Петра Кошевого была передислоцирована на Волховский фронт, где принимала участие в Тихвинской наступательной операции 1941 г. В июле 1942 г. полковник Кошевой был назначен на должность командира 24-й гвардейской стрелковой дивизии, воевавшей впоследствии на Волховском, Сталинградском и Южном фронтах. В августе 1943 г. он стал командиром 63-го стрелкового корпуса, который особо отличился во время освобождения Крыма от германско-румынской оккупации. С мая 1944 г. командовал 71-м стрелковым корпусом 31-й армии, успешно действовавшим при освобождении от противника Белоруссии и Прибалтики. С января 1945 г. являлся командиром 36-го гвардейского стрелкового корпуса в составе 11-й гвардейской армии 3-го Белорусского фронта. Войска этого корпуса принимали активное участие в ходе Восточно-Прусской операции, в том числе при штурме Инстербурга (ныне Черняховск), Кёнигсберга (ныне Калининград) и Пиллау (ныне Балтийск).
После окончании Великой Отечественной генерал-лейтенант Петр Кошевой продолжил командовать 36-м гвардейским стрелковым корпусом, затем был назначен командующим 6-й гвардейской армией Прибалтийского военного округа.
В 1948 г. окончил Высшие академические курсы при Высшей военной академии им. К. Е. Ворошилова (ныне Военная академия Генерального штаба ВС РФ). После этого стал командующим 5-й армии, дислоцировавшейся в Приморском (с апреля 1953 г. -Дальневосточный) военном округе. С 1954 г. командовал 11-й гвардейской армией Прибалтийского военного округа.
В июле 1955 г. генерал-полковник Петр Кошевой был направлен в ГДР, где занимал должность первого заместителя главнокомандующего Группой советских войск в Германии (ГСВГ). По возвращении в СССР командовал Сибирским (1957-1960), затем Киевским (1960-1965) военными округами. В 1961-1971 гг. являлся кандидатом в члены ЦК КПСС. В 1962-1970 гг. избирался депутатом Верховного Совета СССР VI-VII созывов.
В 1965-1969 гг. генерал армии Кошевой вновь служил в ГДР, занимал пост главнокомандующего ГСВГ. В 1969 г. был переведен в группу генеральных инспекторов Министерства обороны СССР.
Петр Кошевой скончался 30 августа 1976 г. в Москве на 72-м году жизни. Похоронен на Новодевичьем кладбище.
Маршал Советского Союза (1968).
Дважды Герой Советского Союза (1944, 1945).
Был награжден пятью орденами Ленина (1941, 1944, 1945, 1964, 1968), тремя орденами Красного Знамени (1944, 1950, 1969), орденом Суворова II степени (1943), двумя орденами Кутузова II степени (1943, 1944), медалями и иностранными наградами.
Почетный гражданин Севастополя (1974).
Автор книг "В годы военные" (1978) и "За Ленинград! За Сталинград! За Крым!" (впервые издана в 2017 г.), а также ряда статей в Военно-историческом журнале.