Родился 25 марта 1956 г. в пос. Нексикан (Магаданская область), где в ссылке жил его отец (осужден в 1938 г., реабилитирован в 1955 г.). Отец Шифрина был бухгалтером, мать работала воспитательницей в детском саду. В 1966 г. семья переехала в Юрмалу (Латвийская ССР, ныне Латвийская Республика).
В 1973-1974 гг. Ефим Шифрин являлся студентом филологического факультета Латвийского государственного университета им. П. Стучки (ныне Латвийский университет, г. Рига). В 1974 г. был принят в Москве на эстрадное отделение Государственного училища циркового и эстрадного искусства (ныне носит имя М. Н. Румянцева, Карандаша). Окончил его в 1978 г., выпускник курса Романа Виктюка. В 1985 г. получил диплом Государственного института театрального искусства им. А. В. Луначарского (ныне Российский институт театрального искусства - ГИТИС) по специальности "Режиссура эстрады".
В 1977 г. Ефим Шифрин начал участвовать в спектаклях Студенческого театра Московского государственного университета им. М. В. Ломоносова. В конце 1970-х и начале 1980-х гг. выходил на сцену в постановках режиссера Романа Виктюка по произведениям "До свидания, мальчики!" Бориса Балтера, "Ночь после выпуска" Владимира Тендрякова, "Утиная охота" Александра Вампилова, "Муж и жена" Альдо Николаи.
В 1978-1988 гг. работал в Москонцерте. Первым сольным спектаклем Ефима Шифрина в 1985 г. стала постановка "Я хотел бы сказать" (в основном по произведениям Виктора Коклюшкина). Далее последовали эстрадные постановки "Это было вчера" (по пьесе Льва Шимелова), "Три вопроса", "Круглая луна", "Фотография на память" (все - по произведениям Виктора Коклюшкина), а также музыкальный моноспектакль "Я играю Шостаковича", в котором Шифрин пел романсы Дмитрия Шостаковича на стихи Саши Черного.
Ефим Шифрин широко известен как исполнитель юмористических программ. Он сотрудничал с телепередачей "Аншлаг" (покинул ее в начале 2000-х гг.), регулярно выступал с сольными номерами и в сборных эстрадных концертах.
Исполнял роли в нескольких постановках "Шифрин-Театра" (создан актером в 1990 г.), а также в отдельных спектаклях Государственного академического театра им. Евг. Вахтангова ("Я тебя больше не знаю, милый" по пьесе Альдо де Бенедетти, "Принцесса Ивонна" по произведению Витольда Гомбровича), Театра Романа Виктюка (ныне Театр - Сцена "Мельников"; "Любовь с придурком" по пьесе Витторио Франчески, "Путаны" по комедии Нино Манфреди, "Коза, или Кто такая Сильвия" по произведению Эдварда Олби), "Театриума на Серпуховке" ("Дракон" по пьесе-сказке Евгения Шварца).
Ефим Шифрин сотрудничает с Московским театром мюзикла. В 2012 г. он исполнил главную роль в постановке "Времена не выбирают" (либретто Михаила Швыдкого и Алексея Кортнева). Также участвует в четырех спектаклях текущего репертуара: рок-опере "Преступление и наказание" по роману Федора Достоевского (либретто Андрея Кончаловского, Юрия Ряшенцева и Марка Розовского, музыка Эдуарда Артемьева), мюзиклах "Прайм-тайм" (либретто Елены Киселевой, музыка Максима Лепажа) и "Принцесса цирка" (либретто Себастьяна Солдевильи, Марины Швыдкой и Алексея Иващенко, музыка Имре Кальмана), спектакле-ревю "Жизнь прекрасна!".
Снимался в фильмах "Глянец" (2007, режиссер Андрей Кончаловский), "Ее звали Муму" (2015, Владимир Мирзоев), "Стендап под прикрытием" (2021, Олег Асадулин), нескольких телесериалах и фильмах-спектаклях. В 2007 г. был участником развлекательного проекта Первого канала "Цирк со звездами", занял по его итогам второе место.
Автор книг "Театр имени меня" (1994, совместно с Георгием Виреном), "Личное дело Ефима Шифрина" (1997), "Течет река Лета" (2010), "Я большая панда" (2017), "Мир тесен. Короткие истории из длинной жизни" (2021).
Записал ряд аудиокниг, в т. ч. "Встретились, поговорили", "Иностранка" и "Соло на ундервуде. Соло на IBM" (совместно с Михаилом Полицеймако) по произведениям писателя Сергея Довлатова.
Лауреат I Московского (1979) и VII Всесоюзного (1983) конкурсов артистов эстрады.