Родился 21 августа 1906 г. в Санкт-Петербурге в семье владельца небольшой строительной фирмы.
В 1929 г. окончил Ленинградский высший художественно-технический институт (ЛВХТИ, ныне Институт живописи, скульптуры и архитектуры имени И.Е. Репина), его наставником был один из основоположников советского неоклассицизма Иван Фомин.
В 1927 г. начал работать чертежником, а затем архитектором в Северо-западном тресте лесной промышленности, диплом ЛВХТИ защитил по проекту лесопильно-бумажного комбината. В 1928-1932 гг. участвовал в ряде архитектурных конкурсов, в том числе по строительству стадиона на Крестовском острове. В 1932 г. по проекту, созданному при его участии, было построено здание ленинградской Академии легкой промышленности.
В 1933 г. переехал в Москву, где был принят в Управление строительства Дворца Советов под руководством Владимира Щуко и Владимира Гельфрейха. Также работал в мастерской номер 3 Моссовета, которой до своей смерти в 1936 г. руководил Иван Фомин. Вместе с ним Леонид Поляков работал над проектом санатория в Сочи (1935), здания Совета министров Украинской ССР в Киеве в Липках (1939).
Помимо работы над Дворцом Советов (который так и не был реализован), в середине 1930-х гг. Поляков выступил архитектором нескольких жилых домов в Москве на ул. Арбат и в Спиридоньевском переулке.
Первыми значимыми работами Полякова стали станция метро "Курская" Арбатско-Покровской линии Московского метро (1938) и арка северного входа ВСХВ (ныне ВДНХ, 1939).
В годы Великой Отечественной войны Леонид Поляков занимался проектированием эвакуированных заводов. После ее окончания принимал участие в восстановлении Севастополя (в 1948-1951 гг. был главным архитектором города), а также дворца в Царском Селе.
В 1950-1955 гг. по его проекту в Москве были построены станции метро "Октябрьская" кольцевой линии (получил за нее в 1950 г. Сталинскую премию второй степени), "Арбатская" Арбатско-Покровской линии, а в Ленинграде - станция "Пушкинская".
В 1950-1957 гг. работал над архитектурой Волго-Донского канала и Куйбышевского гидроузла.
В 1948-1954 гг. на Комсомольской площади в Москве по проекту Леонида Полякова в соавторстве с Александром Борецким была построена одна из "сталинских высоток" - гостиница "Ленинградская" (ныне под управлением сети отелей Hilton, "Хилтон"). Высота здания - 136 м. За проект в 1949 г. архитекторы были удостоены Сталинской премии второй степени.
В декабре 1955 г., вскоре после выхода постановления ЦК КПСС и Совета Министров СССР "Об устранении излишеств в проектировании и строительстве", Поляков был лишен врученной за "Ленинградскую" Сталинской премии "за допущенные излишества и расточительства государственных средств при проектировании и строительстве и за неправильное руководство строительными организациями". После этого Поляков практически не занимался проектированием, за исключением создания посольств СССР в Эфиопии и Албании. До конца жизни преподавал в Московском центральном художественно-промышленном училище (ныне академия им С.Г. Строганова, профессор с 1963 г.).
Скончался 19 июня 1965 г., похоронен в Москве на Новодевичьем кладбище.
Член-корреспондент Академии наук СССР (1947), член Академии архитектуры СССР (1950).
Был награжден орденом Ленина (1952) и орденом "Знак почета" (1939).
Был женат на архитекторе Раисе Пуринг. Имел дочь Анну.