Янковский родился в 1944 году в Джезказгане. Отец актера, Иван Павлович был кадровым военным. В конце 1930-х годов он с семьей был выслан в Казахстан, позже арестован и погиб в лагерях ГУЛАГа. Затем Янковские смогли уехать из Средней Азии и Олег оказался в Саратове.
У его старшего брата Ростислава была работа в Минске, в 1957 году перебрался туда и через год забрал Олега к себе. Олег хотел поступать в медицинский университет, но случайно заглянул в Саратовское театральное училище.
Хотя приёмные туры уже были завершены, Олег решил спросить об условиях поступления и решился зайти в кабинет директора. Тот только спросил фамилию и сказал, что Янковский зачислен и нужно приходить на занятия в начале сентября. Как выяснилось спустя несколько месяцев, брат Олега Ивановича — Николай Иванович в тайне от семьи решил поступать и с успехом прошёл все приёмные туры, но потом передумал поступать.
В 1965 окончил Саратовское театральное училище и с 1967 играл на сцене Саратовского драматического театра. Исполнял роли классического («Таланты и поклонники», «Стакан воды») и современного («Человек со стороны») репертуара. Наибольшего успеха добился в роли князя Мышкина (спектакль «Идиот»).
В 1968 дебютировал в кино, снявшись в роли Генриха Шварцкопфа, племянника высокопоставленного гитлеровского бонзы, в фильме «Щит и меч». В том же году Янковский сыграл красноармейца Андрея Некрасова в фильме о Гражданской войне «Служили два товарища». Эти ранние работы Янковского были выстроены на контрапункте внешнего облика и внутренней сути персонажей. Они обнаружили сдержанность манеры исполнения, обаяние и стремление актера к достоверности, принесли Янковскому не только популярность у зрителей, но и признание в профессиональной среде.
Скупость в выразительных средствах не помешала актеру создать романтические образы в его следующих лентах «Жди меня, Анна» (1969), «Я, Франциск Скорина» (1970), «О любви» (1971).
С 1973 Янковский играет на сцене Московского театра Ленком. Он быстро становится ведущим актером этого театра, среди его лучших спектаклей: «Автоград-XXI», «Парень из нашего города», «Революционный этюд», «Диктатура совести», «Оптимистическая трагедия», «Чайка», «Варвар и еретик», «Гамлет». Актерская пластичность позволяла Янковскому органично выглядеть в киноролях автогонщика («Гонщики», 1973), партийного функционера («Премия», 1974; «Обратная связь», 1978), декабриста Кондратия Рылеева («Звезда пленительного счастья», 1975), неустроенного, колючего человека («Чужие письма», 1976, «Сладкая женщина», 1977) или, напротив, бесхарактерного, слабовольного («Слово для защиты», 1977, «Поворот», 1979).
Способность легко вписываться в разнообразные художественные миры позволила актеру быть востребованным самыми разными режиссерами. Андрей Тарковский доверил Янковскому сыграть роль Отца в «Зеркале» (1975) и писателя Горчакова в «Ностальгии» (1983). Марк Захаров удачно использовал свойство Янковского сохранять дистанцию по отношению к действию не только в спектаклях театра Ленком, но и в фильмах «Обыкновенное чудо» (1978), «Тот самый Мюнхгаузен» (1979), «Дом, который построил Свифт» (1982), «Убить Дракона» (1989). Блестящие роли сыграл Янковский в фильмах Романа Балаяна «Полеты во сне и наяву» (1983, Государственная премия СССР за 1987 год), «Поцелуй» (1983), «Храни меня, мой талисман» (1987), «Филер» (1988).
В 1990-х годах в творчестве актера стала проявляться тяга к открытой комедийности и фарсу («Паспорт», 1990; «Роковые яйца», 1995; «Ревизор», 1996). За четверть века актерской работы Янковский снялся в 50 фильмах. К числу его наиболее заметных картин относятся «Мой ласковый и нежный зверь» (1978), «Мы, нижеподписавшиеся» (1981), «Влюблен по собственному желанию» (1982), «Крейцерова соната» (1988, Государственная премия РСФСР за 1989 год), «Два гусара» (1984), «Цареубийца» (1991), «Мадо, до востребования» (1990), «Первая любовь» (1995).
С 1993 года - Президент Открытого Российского кинофестиваля в Сочи (МКФ Кинотавр).
В 2007 году Янковский снялся в фильме Балаяна о советских диссидентах под названием Избранник. За четверть века актерской работы Олег Янковский снялся в 50 фильмах.
Жена - актриса, заслуженная артистка России Людмила Зорина, бракосочетание состоялось во время обучения Олега Янковского на втором курсе театрального училища. Сын - актер и кинорежиссер Филипп.
Олег Янковский скончался утром 20 мая 2009 года в одной из московских клиник после продолжительной болезни. Артист страдал раком поджелудочной железы, обнаруженным на поздней стадии.