Родился 2 января 1928 г. в Москве в семье врачей Якова Рабина и Вероники Андерман. Отец умер, когда Оскару было пять лет, мать - когда ему исполнилось 13. Воспитывался художником и поэтом Евгением Кропивницким (1893–1978), который стал первым учителем Рабина, познакомил его с произведениями художников русского и западного авангарда начала ХХ в.
В 1946–1948 гг. Оскар Рабин учился в Академии художеств Латвийской ССР в Риге. В 1948 г. вернулся в Москву и поступил в Московский государственный художественный институт им. В. Сурикова, откуда в 1949 г. был исключен "за формализм".
С конца 1950-х гг. Оскар Рабин был участником т. н. Лианозовской группы, объединявшей художников и поэтов нонконформистского направления. Центральной фигурой этого неформального круга был Евгений Кропивницкий, среди участников - поэты Генрих Сапгир, Ян Сатуновский, Всеволод Некрасов, художники Николай Вечтомов, Лидия Мастеркова, Владимир Немухин, Лев Кропивницкий и др. К группе был близок поэт Эдуард Лимонов (Савенко). В 1960-1970-х гг. дом и мастерская Рабина являлись неформальными литературно-художественными салонами, широко известными в Москве.
Оскар Рабин писал пейзажи, натюрморты в манере, близкой примитивизму и экспрессионизму, при этом используя сумрачный колорит. Один из главных мотивов его творчества – изображение абсурдности и антигуманности окружающего мира. Наиболее известные работы "Барак" (1958), "Оптимистический пейзаж" (1959), "Паспорт" (1964); "Скрипка и домики" (1974).
С 1960-х гг. картины Рабина регулярно выставлялись за рубежом, приобретались иностранными коллекционерами. Персональные выставки художника проходили в Лондоне (1965), Джерси-сити (США, 1984), Москве (1991), Петербурге (1993) и др.
Художник также участвовал в групповых выставках на VI Всемирном фестивале молодежи и студентов (Москва, 1957), в выставках произведений художников "второго русского авангарда" в Лугано (1970), Бохуме (ФРГ, 1974), Лондоне (1977), Париже (1989), Москве (1990–1991), Токио (1991).
15 сентября 1974 г. Оскар Рабин стал инициатором и одним из главных организаторов несанкционированной выставки работ художников-нонконформистов на пустыре в московском микрорайоне Беляево. Мероприятие получило широкий международный резонанс, так как было разгромлено переодетыми сотрудниками советских спецслужб в присутствии корреспондентов зарубежных СМИ. На следующий день Оскар Рабин и другие художники обратились к советскому правительству с открытым письмом. Они заявили, что планируют повторить выставку и просили официальные власти защитить их от действий "хулиганов". 29 сентября разрешенная выставка художников-авангардистов с участием Рабина состоялась в московском парке Измайлово.
В январе 1977 г. художник был арестован за тунеядство, а вскоре, получив туристическую визу во Францию, под давлением советских властей выехал за границу.
В июне 1978 г. президиум Верховного совета СССР специальным постановлением лишил Оскара Рабина советского гражданства. С этого времени он жил и работал в Париже.
Советское гражданство Рабина было восстановлено указом президента СССР Михаила Горбачева от 15 августа 1990 г. Художник также был принят в российское гражданство указом президента РФ Владимира Путина от 3 ноября 2017 г.
Оскар Рабин был женат, его супругой была Валентина Кропивницкая (1924–2008). Сын – художник Александр Рабин (1952–1994).