Родился 3 (16) ноября 1900 в Лодзи в семье инженера-текстильщика. В 1913 семья Абдуловых переехала в Москву. В 1917 Абдулов окончил гимназию и поступил на юридический факультет Московского университета. Студентом участвовал в драматической секции студенческого клуба 'Наука и искусство'. В 1918 начал профессиональную сценическую жизнь сначала в студии А.А.Гейрота.
Будучи студентом Московского университета, участвовал в самодеятельности. В 1918-23 работал в Студии им. Шаляпина, где сыграл свою первую значительную роль — бродягу Грена в «Зеленом попугае» А. Шницлера (1919). В 1924-25 работал в Театре им. Комиссаржевской, в 1925-26 — в МХАТе, в 1926-27 — в Театре Сатиры, в 1928 — в Профклубной мастерской, в 1929-36 — в Театре-студии под руководством Ю. А. Завадского, в 1938-42 — в Театре Революции, с 1943 — в Театре им. Моссовета.
Среди ролей: Расплюев («Отжитое время» по «Свадьбе Кречинского» и «Делу» А. В. Сухово-Кобылина, 1925), Крутицкий («На всякого мудреца довольно простоты» А. Н. Островского, 1928), генерал Бургойн («Ученик дьявола» Б. Шоу, 1933), Лыняев («Волки и овцы» Островского, 1934), Фромантель («Школа неплательщиков» Л. Вернея, 1935), Кнуров («Бесприданница» Островского, 1940), Сорин («Чайка» А. П. Чехова, 1945), дядя Васа («Госпожа министерша» Б. Нушича, 1946), Шмага («Без вины виноватые», 1948), Рыжов («Рассвет над Москвой» А. А. Сурова, 1950; Сталинская премия, 1951), Богомолов («Шторм», 1952), ашуг Сатылмаш («Рассказ о Турции» Н. Хикмета, 1953). В искусстве Абдулова, обладавшего виртуозной актерской техникой, сочная комедийность сочеталась с тонким юмором, иронией; сатирическая острота внешнего рисунка — с глубоким раскрытием психологии персонажа.
С 1924 работал на радио как режиссер (поставил свыше 200 радиоспектаклей) и актер. Снимался в кино, среди лучших ролей: Джон Сильвер («Остров сокровищ», 1938), Тарантулов («Человек в футляре», 1939), Грек Дымба («Свадьба», 1944). Преподавал в Театре-студии Завадского и в ГИТИСе.
Умер Абдулов в Москве 14 июня 1953. Сын — актёр Всеволод Осипович Абдулов. Оба похоронены на Введенском кладбище в Москве.