Родился 28 декабря 1927 г. в г. Киеве (Украинская ССР, ныне Украина) в семье скрипача. Увлекся музыкой еще в детстве. Уже в пять лет он написал свое первое музыкальное произведение.
В 1945 г. окончил музыкальное училище при Ленинградской консерватории (ныне - Санкт-Петербургский музыкальный техникум имени М. П. Мусоргского) по классу фортепиано. В 1945-1951 гг. учился в Ленинградской государственной консерватории (ныне - Санкт-Петербургская государственная консерватория им. Н. А. Римского-Корсакова) по классу фортепиано в мастерской Самария Савшинского.
Широкую известность Олег Каравайчук получил как кинокомпозитор. Первым фильмом, музыку для которого он написал, стала комедия "Алеша Птицын вырабатывает характер" (1953, режиссер Анатолий Граник). За ней последовали фильмы "Два капитана" (1955, Владимир Венгеров), "Поднятая целина" (1959-1961, Александр Иванов), "Короткие встречи" (1967, Кира Муратова), "Мама вышла замуж" (1969, Виталий Мельников), "Городской романс" (1970, Петр Тодоровский), "Монолог" (1972, Илья Авербах) и др. В общей сложности он написал музыку к более 150 документальным и игровым лентам, а также к театральным постановкам. Так, его музыка была использована в спектаклях "Изотов" по пьесе Михаила Дурненкова "Заповедник" (Александринский театр) и "Бесы" по одноименному роману Федора Достоевского (МДТ - Театр Европы).
Вплоть до начала 1990-х гг. Олег Каравайчук практически не выступал. После распада СССР давал концерты в Санкт-Петербурге.
Дискография Каравайчука включает альбомы "Вальсы и антракты" (2005) и "Concerto Grosso" (2009), а также DVD-фильм "Рука Гоголя" (фортепианные импровизации и монолог композитора; 2009). В последние годы жизни нередко принимал участие в перформансах. Чаще всего это были импровизации, без репетиций и определенной программы. На музыкальных вечерах композитор объединял собственные сочинения с произведениями классиков, исполняя их в свойственной только ему манере. Многие его выступления отличались эпатажностью. В частности, Олег Каравайчук играл на фортепиано лежа или стоя на коленях, с закрытыми глазами, с наволочкой на голове и т. д.
В 2002 г. он стал лауреатом премии "Золотой овен" за лучшую музыку к фильму "Темная ночь" (2001, Олег Ковалов). В 2009 г. был удостоен премии "За заслуги в развитии современного искусства", учрежденной Фондом и Центром им. Сергея Курехина. В 2010 г. был номинирован на премию "Степной волк" в категории "Нечто".
Олег Каравайчук не был женат, вел закрытый образ жизни. Он скончался 13 июня 2016 г. в Санкт-Петербурге, незадолго до смерти перенес инсульт и страдал от сильного воспаления легких. Похоронен на Комаровском поселковом кладбище.