Родился 29 мая 1934 г. в Москве.
После седьмого класса школы перевелся в железнодорожный техникум. Проходил службу на Военном-морском флоте СССР. После демобилизации работал чертежником в проектном институте.
В 1959 г. был принят прорисовщиком на анимационную студию "Союзмультфильм". В 1967-1979 гг. работал ассистентом художника-постановщика, в 1979-1992 гг. - художником-постановщиком.
Дебютировал в качестве художника-постановщика с мультфильмом "Переменка №2" (1979, режиссер Ефим Гамбург).
Вместе с режиссером Владимиром Поповым работал над второй и третьей частями популярной анимационной трилогии о деревне Простоквашино по повести Эдуарда Успенского. Аркадий Шер сильно изменил визуальный облик всех персонажей по сравнению с первой серией "Трое из Простоквашино" (1978, художники-постановщики Левон Хачатрян и Николай Ерыкалов). В 1980 г. вышла серия "Каникулы в Простоквашино", в 1984 г. - "Зима в Простоквашино" (совместно с художником-постановщиком Александром Винокуровым).
Также Аркадий Шер работал и над другими рисованными фильмами Владимира Попова: "Приключения Васи Куролесова" (1981), "От двух до пяти" (1983), "Мы с Шерлоком Холмсом" (1985) и "Академик Иванов" (1986). Был художником-постановщиком мультфильмов "Как ослик грустью заболел" (1987, режиссер Юрий Прытков), "Кот, который умел петь" (1988, Натан Лернер), "Кважды ква" (1990, Елена Федорова) и др.
В 1978-1986 гг. поставил ряд анимационных сюжетов для сатирического киножурнала "Фитиль" ("Производственная травма", "Технокрады", "Шефская помощь" и др.).
В 1992 г. в качестве режиссера Аркадий Шер поставил по собственному сценарию сюжет "Случай на болоте", включенный в 24-й выпуск детского мультипликационного журнала "Веселая карусель".
Автор и иллюстратор книг для детей "Тридесятые сказки, или Вот такие пирожки" (1990), "Попался волчок на крючок" (1990) и "Пять минут до счастья" (2008). В 2014 г. выпустил книгу воспоминаний "Взгляд из окна".
Аркадий Шер скончался 7 августа 2018 г. на 85-м году жизни. Похоронен на центральном кладбище г. Долгопрудного (Московская обл.).
Являлся членом комиссии анимационного кино Союза кинематографистов РФ.
Был отмечен почетной грамотой Министерства культуры РФ (2011).