Родился 22 июля 1895 г. (по старому стилю 10 июля) в селе Глубокое Дисненского уезда Виленской губернии Российской империи (ныне г. Глубокое Витебской области Белоруссии) в семье учителя Осипа Андреевича Сухого и Елизаветы Яковлевны Гисич.
В 1905-1914 гг. учился в Гомельской мужской гимназии, окончил ее с серебряной медалью.
В сентябре 1914 г. переехал в Москву, поступил на математический факультет Императорского Московского университета (ныне Московский государственный университет им. М. В. Ломоносова). Отучившись год, поступил в Императорское Московское техническое училище (ИМТУ, ныне Московский государственный технический университет им. Н. Э. Баумана).
В 1916 г. был призван в армию, прошел обучение в школе прапорщиков. Принимал участие в Первой мировой войне. В марте 1918 г. вернулся в Москву, однако не смог продолжить занятия в ИМТУ, работа которого была приостановлена. В ноябре 1918 г. начал преподавать математику в г. Лунинец в Западной Белоруссии. После того как город был занят поляками, он уехал в Гомель, где стал учителем математики в школе для детей железнодорожников. Должность заведующего этой школой занимал его отец.
В 1920 г. Павел продолжил учебу в Московском высшем техническом училище (новое название ИМТУ), которое закончил в 1925 г., защитив дипломный проект на тему "Одноместный истребитель с мотором 300 лошадиных сил". Работа была подготовлена под руководством авиаконструктора Андрея Туполева. Сразу после выпуска из вуза Сухой начал работать инженером-конструктором в конструкторском отделе АГОС ("Авиация, гидроавиация, опытное строительство") Центрального аэрогидродинамического института (ЦАГИ).
Доктор технических наук (13 сентября 1940).
С октября 1930 г. по май 1932 г. - руководитель бригады №4 АГОС ЦАГИ.
С мая 1932 г. по май 1936 г. - возглавлял бригаду №3 ("Легкие самолеты") конструкторского отдела опытного самолетостроения (КОСОС) ЦАГИ. В мае 1936 г. стал заместителем начальника опытно-конструкторского бюро (ОКБ) Завода опытных конструкций (ЗОК) ЦАГИ. В 1939 г. КОСОС и ЗОК были выделены из ЦАГИ и переведены в Харьков на авиазавод 135.
С февраля 1939 г. по апрель 1940 г. - главный конструктор ОКБ-135 (Харьков).
С апреля 1940 г. по ноябрь 1949 г. - главный конструктор КБ авиазавода 289, базировавшегося на ряде предприятий в Москве и Подмосковье.
В сентябре того же года Павлу Сухому без защиты диссертации была присвоена ученая степень доктора технических наук.
С ноября 1940 г. занимал также должность директора предприятий, действовавших в составе 289-го авиазавода. Во время Великой Отечественной войны авиазавод находился в эвакуации в г. Молотове (ныне Пермь), после войны был размещен в г. Тушино (ныне район Москвы). В 1949 г. КБ было ликвидировано после потери в испытательном полете опытного истребителя-перехватчика Су-15 (это же название впоследствии получил другой самолет, разработанный коллективом под руководством Сухого в начале 1960-х гг.).
В 1949-1953 гг. работал на должности главного конструктора в КБ Андрея Туполева.
В 1953-1956 гг. - главный конструктор, с 1956 г. - генеральный конструктор воссозданного КБ (в феврале 1954 г. бюро получило №51 в системе Минавиапрома СССР).
Павел Сухой принимал участие в проектировании самолетов АНТ-3 "Пролетарий" (первый полет в 1925 г.), ТБ-1 (1925), ПС-9 (1929), ТБ-3 (1930), АНТ-10 (1930). Под общим руководством Андрея Туполева Сухой работал над истребителями И-4 (1927), И-14 (1933), дальним бомбардировщиком ДБ-2 (1935), самолетами АНТ-25 (РД, "Рекорд дальности", 1933) и АНТ-37-бис "Родина" (1938). Принимал участие в конкурсной разработке самолета под шифром "Иванов" - проект завершился созданием боевого многоцелевого самолета Су-2/ББ-1 (1937). После Великой Отечественной войны под руководством Сухого разработан ряд серийных реактивных боевых машин: сверхзвуковой истребитель Су-7 (1955), истребители-перехватчики Су-9 (1957), Су-11 (1958), Су-15 (1962), истребитель-бомбардировщик Су-17 (1966), фронтовой бомбардировщик с изменяемой стреловидностью крыла Су-24 (1970), штурмовик Су-25 (1975) и др. Руководил началом разработки истребителя четвертого поколения Су-27 (1977).
В 1958-1974 гг. был депутатом Верховного Совета СССР.
Павел Сухой скончался 15 сентября 1975 г. в возрасте 80 лет в Москве. Похоронен на столичном Новодевичьем кладбище.
Дважды Герой Социалистического Труда (1957, 1965), лауреат Ленинской (1968), Сталинской (1943) и Государственной (1975) премий. Кавалер трех орденов Ленина (1945, 1957, 1975), ордена Октябрьской революции, Трудового Красного Знамени (1938), Красной Звезды (1933) и др. Награжден золотой медалью им. А. Н. Туполева номер 001 (1975, посмертно).
Был женат на Софье Феликсовне Сухой (в девичестве Тенчинская, 1895-1982). Дети - Ирина (1925-2009) и Дмитрий (1932-2000).