Родился 23 февраля 1944 г. в Джезказгане (Карагандинская область Казахской ССР; ныне - Жезказган, Республика Казахстан) в семье Ивана Павловича и Марины Ивановны Янковских. Отец работал на плавильном комбинате. В 1951 г. семья переехала в Саратов.
В 1965 г. Олег Янковский окончил актерский факультет Саратовского театрального училища им. И. А. Слонова (ныне - Театральный институт Саратовской государственной консерватории, академии, им. Л. В. Собинова). Выпускник мастерской заслуженного артиста РСФСР Алексея Быстрякова.
В 1965-1973 гг. служил в Саратовском драматическом театре им. Карла Маркса (ныне - Саратовский государственный академический театр драмы им. И. А. Слонова).
В 1973-2009 гг. Олег Янковский являлся актером Московского государственного театра "Ленком" (до 1992 г. - Московский театр им. Ленинского комсомола). Исполнял роли в спектаклях: "Автоград-XXI" на стихи Роберта Рождественского и Юрия Визбора, "В списках не значился" по произведению Бориса Васильева, "Ясновидящий" по роману Лиона Фейхтвангера "Братья Лаутензак", "Парень из нашего города" по пьесе Константина Симонова, "Революционный этюд" и "Диктатура совести" по произведениям Михаила Шатрова, "Оптимистическая трагедия" по пьесе Всеволода Вишневского, "Гамлет" по трагедии Уильяма Шекспира, "Чайка" по пьесе Антона Чехова, "Варвар и еретик" по роману Федора Достоевского "Игрок", "Шут Балакирев" по пьесе Григория Горина, "Женитьба" по мотивам произведений Николая Гоголя и др.
Олег Янковский был широко известен в качестве киноактера. Дебютной для него стала роль Генриха Шварцкопфа в военном фильме Владимира Басова "Щит и меч" по роману Вадима Кожевникова (1968). К числу наиболее известных киноработ относятся: красноармеец Андрей Некрасов в военной драме "Служили два товарища" (1968, режиссер Евгений Карелов), Николай Сергачев в фильме "Гонщики" (1972, Игорь Масленников), Тихон Соколов в мелодраме "Сладкая женщина" по повести Ирины Велембовской (1976, Владимир Фетин), Сергей Камышев в фильме "Мой ласковый и нежный зверь" по мотивам повести Антона Чехова "Драма на охоте" (1978, Эмиль Лотяну), Волшебник в фильме "Обыкновенное чудо" по пьесе-сказке Евгения Шварца (1978, Марк Захаров), барон Карл Мюнхгаузен в трагикомедии "Тот самый Мюнхгаузен" (1979, Марк Захаров), Игорь Брагин в комедии "Влюблен по собственному желанию" (1982, Сергей Микаэлян), Сергей Макаров в драме "Полеты во сне и наяву" (1982, Роман Балаян), Алексей Дмитриев в фильме "Храни меня, мой талисман" (1986, Роман Балаян), Василий Позднышев в драме "Крейцерова соната" по произведению Льва Толстого (1987, София Милькина и Михаил Швейцер) и др. Последней для Олега Янковского стала роль митрополита Филиппа в исторической кинокартине Павла Лунгина "Царь" (2009). В общей сложности актер снялся в более чем 80 фильмах и сериалах.
В 1993-2004 гг. Олег Янковский был президентом Открытого российского кинофестиваля "Кинотавр" (Сочи, Краснодарский край).
В 2000 г. Олег Янковский совместно с Михаилом Аграновичем поставил мелодраму "Приходи на меня посмотреть…". В этом фильме, снятом по мотивам пьесы Надежды Птушкиной "Пока она умирала", он же исполнил основную мужскую роль - холостяка Игоря.
В 1991 г. вошел в последний список деятелей искусства и культуры, которым было присуждено звание народного артиста СССР.
Был награжден орденами "За заслуги перед Отечеством" II, III и IV степеней (2009, 2007, 1995), отмечен благодарностями президента РФ (1996, 2002).
Лауреат премии Ленинского комсомола (1977), Государственной премии СССР в области литературы, искусства и архитектуры (1987), Государственной премии РСФСР имени братьев Васильевых (1989), Государственной премии РФ в области литературы и искусства 1996 и 2002 гг.
Лауреат Международного кинофестиваля в Вальядолиде (Испания, 1988 - за роль в драме "Филер"), кинопремии "Ника" в номинации "Лучшая мужская роль" (1992 - "Цареубийца", "Паспорт"; 2003 - "Любовник"; 2010, посмертно - "Анна Каренина", "Царь"), кинопремии "Золотой орел" в категориях "Лучшая мужская роль второго плана" (2004 - "Бедный, бедный Павел"), "Лучшая мужская роль на телевидении" (2007 - "Доктор Живаго") и спецноминации "За вклад в развитие отечественного кинематографа" (2010, посмертно). Был отмечен призами кинофестиваля "Кинотавр" в номинации "Лучшая мужская роль" (2001 - "Приходи на меня посмотреть"; 2002 - "Любовник"). Лауреат Международной премии К. С. Станиславского (2001).
Олег Янковский скончался 20 мая 2009 г. в Москве на 66-м году жизни. Похоронен на столичном Новодевичьем кладбище.
Был женат на заслуженной артистке РФ Людмиле Зориной (род. 1941). Сын - Филипп Янковский (род. 1968, актер и режиссер). Старшие братья - Ростислав Янковский (1930-2016, актер театра и кино, народный артист СССР) и Николай Янковский (1941-2015, заслуженный работник культуры РСФСР).