Родился 9 июля 1933 г. в Сталинграде (ныне - Волгоград) в семье Германа Степановича и Калерии Георгиевны Климовых. Отец был заведующим секретариатом комитета партийного контроля при ЦК КПСС. Мать работала преподавателем физической культуры.
В 1957 г. Элем Климов окончил Московский авиационный институт по специальности "Вертолетостроение", в 1964 г. - режиссерский факультет Всесоюзного государственного института кинематографии (ВГИК; ныне - Всероссийский государственный институт кинематографии им. С. А. Герасимова). Во ВГИКе учился в мастерской Ефима Дзигана.
В студенческие годы играл за сборную МАИ по баскетболу, участвовал в художественной самодеятельности. Получив первое высшее образование, в 1957-1958 гг. работал инженером-конструктором на Московском вертолетном заводе. Параллельно как автор и исполнитель внештатно работал в молодежной редакции Всесоюзного радио.
Во время учебы во ВГИКе, Элем Климов снял десятиминутный документальный фильм "Осторожно, пошлость!" (1959), короткометражную комедию "Жиних" (1960) и короткометражный детский фильм "Смотрите, небо!" (1962). В начале 1960-х гг. также был одним из первых ведущих телевизионной юмористической программы-игры "Клуб веселых и находчивых".
В 1964 г. на экраны вышла дебютная полнометражная картина Элема Климова - сатирическая комедия "Добро пожаловать, или посторонним вход воспрещен". Главную роль - директора пионерского лагеря - исполнил Евгений Евстигнеев.
В 1965 г. снял комедию "Похождения зубного врача". В ней свою первую кинороль сыграл Андрей Мягков. Фильм вышел в ограниченном прокате в 1967 г.
Следующей режиссерской работой Элема Климова стал документально-постановочный фильм "Спорт, спорт, спорт" (1970). Кадры хроники спортивных соревнований были смонтированы с художественными вставками в жанрах балета и пантомимы.
В 1976 г. режиссер вместе с Марленом Хуциевым участвовал в завершении после смерти Михаила Ромма его документального фильма "И все-таки я верю…".
После гибели в автокатастрофе своей супруги - заслуженного деятеля искусств РСФСР, кинорежиссера Ларисы Шепитько (1938-1979) - снял о ней короткометражную документальную ленту "Лариса" (1980) и завершил начатый ею фильм "Прощание" (1983).
Широкую известность получили две последние работы Элема Климова - "Агония" о кризисе самодержавия в последние годы существования Российской империи (снята в 1975 г., вышла на отечественные экраны в 1985 г.) и "Иди и смотри" о карательной акции нацистов в белорусской деревне во время Великой Отечественной войны (1985).
В 1986-1988 гг. режиссер занимал должность первого секретаря правления Союза кинематографистов СССР.
В 1991 г. стал одним из учредителей правозащитной организации "Фонд защиты гласности".
В 1990-е гг. был членом судейской коллегии премии в области литературы и искусства "Триумф".
В 1997 г. входил в состав жюри Шанхайского международного кинофестиваля (Китай), в 2000 г. возглавлял жюри открытого фестиваля неигрового кино "Россия" (Екатеринбург).
Элем Климов скончался 27 октября 2003 г. в Москве в возрасте 70 лет. Похоронен на столичном Троекуровском кладбище.
Заслуженный деятель искусств РСФСР (1976). Народный артист РФ (1997).
Почетный член Британского института кино (1987).
Фильмы Элема Климова были неоднократно отмечены различными наградами: "Добро пожаловать, или посторонним вход воспрещен" - призом Международного фестиваля фильмов для молодежи в Канне (Франция, 1966), "Спорт, спорт, спорт" - золотой медалью Всесоюзного фестиваля спортивных фильмов в Риге (Латвийская ССР, ныне - Латвия, 1970) и главной премией Международного фестиваля спортивных фильмов в Оберхаузене (ФРГ, 1973), "Лариса" - специальным призом Международного кинофестиваля в Мангейме (ФРГ, 1981), "Агония" - призом Международной федерации кинопрессы на Венецианском кинофестивале (Италия, 1982), "Иди и смотри" - главными призами Московского международного кинофестиваля (1985), Международного кинофестиваля в Трое (Португалия, 1985) и Всесоюзного кинофестиваля в Алма-Ате (Казахская ССР, ныне - Казахстан, 1986), а также первым призом Международного кинофестиваля в Авелино (Италия, 1985).
Сын - Антон Климов (род. 1973) - журналист и писатель. Брат - Герман Климов (род. 1941) - сценарист.