Родился 11 марта 1897 г. (27 февраля по старому стилю 1897 г.) в гор. Таруса Калужской губернии Российской империи (ныне Калужская обл. РФ) в семье рабочего.
В детстве помогал отцу по хозяйству, затем работал на ткацкой фабрике Петра Рябова в Москве, обучался граверному ремеслу. Учился на Пречистенских рабочих курсах.
В ноябре 1915 г. был призван в Русскую императорскую армию с зачислением в 55-й запасный пехотный батальон. Однако вскоре был откомандирован на обучение в Грузию, где 1916 г. окончил Телавскую школу прапорщиков. После этого был направлен в 1-й Ивангородский отдельный артиллерийский дивизион действующей армии.
В ходе Первой мировой войны в 1916 г. участвовал в Брусиловском прорыве в Галиции. В январе 1917 г. был ранен и эвакуирован в Москву.
В октябре 1917 г. вступил в Красную гвардию, в составе 1-го Замоскворецкого красногвардейского отряда участвовал в Октябрьском вооруженном восстании в Москве.
С февраля 1918 г. числился в составе Рабоче-крестьянской Красной армии (РККА). Командовал ротой, батальоном, сводным отрядом 1-й Московской пехотной бригады, действовавшей на Южном фронте Гражданской войны 1917-1922 гг. Был ранен, лечился в воронежском госпитале.
С января 1919 г. воевал на Кавказском и Южном фронтах, где командовал стрелковой ротой, батальоном, полком, бригадой. В марте того же года назначен начальником Судоходной охраны и обороны Астраханского края, а в мае стал командиром 13-й отдельного пехотного Астраханского полка. Одновременно с сентября являлся начальником войск внешней охраны и обороны железных дорог 11-й армии. Участвовал в обороне Астрахани, был трижды ранен. Осенью 1919 г. вступил в партию большевиков.
С января 1920 г. принимал участие в Северо-Кавказской операции и освобождении Кавказа. В апреле того же года был назначен начальником боевого участка железных дорог 11-й армии. При освобождении г. Баку (ныне Азербайджан) осуществил "глубокий прорыв" по рельсам: четыре бронепоезда с десантом под командованием Михаила Ефремова совершили 300-километровый рейд, в результате которого был взят под контроль весь город, а на территории Азербайджанской Демократической республики установлена советская власть. За Бакинскую операцию Михаил Ефремов был награжден орденом Красного Знамени РСФСР и аналогичным орденом Азербайджанской ССР под номером 1. Через месяц также отличился во время подавления контрреволюционного мятежа в г. Гяндже (Азербайджанская ССР, ныне Азербайджан) и был удостоен второго ордена Красного Знамени Азербайджанской ССР.
В мае 1920 г. Михаила Ефремова назначали командиром отдельной сводной бригады (на правах начальника дивизии), а в июне того же года - начальником войск охраны и обороны железных дорог Азербайджанской ССР. С сентября 1920 г. он являлся командиром и комиссаром Особого отдельного корпуса в г. Грозный (ныне Чеченская Республика). В этой должности участвовал в подавлении восстания в Чеченском национальном округе Горской АССР.
С февраля 1921 г. был начальником и комиссаром 33-й стрелковой дивизии. В июле того же года возглавил Вторые Московские командные пехотные курсы. В 1922 г. окончил Военно-академические курсы высшего комсостава РККА. С 1924 г. - помощник командира и начальник политотдела 14-й стрелковой дивизии, а позднее - командир 19-й Тамбовской стрелковой дивизии.
С конца 1926 г. находился на специальных сборах при Военной академии РККА им. М. В. Фрунзе, затем был военным советником в Китае. После возвращения в СССР в 1927 г. стал командиром 18-й Ярославской стрелковой дивизии Московского военного округа (ВО).
В 1929 г. Михаил Ефремов был направлен на обучение в Военно-политическую академию РККА (Ленинград, ныне Санкт-Петербург) на особый факультет единоначальников. Одновременно с этим являлся командиром и комиссаром 3-го стрелкового корпуса. В 1933 г. стал выпускником Военной академии РККА им. М. В. Фрунзе и был назначен командиром и комиссаром 12-го стрелкового корпуса Приволжского ВО. В 1935 г. получил звание комдива. В 1937 г. был избран депутатом Верховного Совета СССР первого созыва. В то же время последовательно командовал войсками Приволжского, Забайкальского, Орловского, Северо-Кавказского и Закавказского военных округов.
В 1938 г. Михаил Ефремов был арестован сотрудниками Народного комиссариата внутренних дел (НКВД) по подозрению в связях с "врагом народа" Михаилом Тухачевским. Однако после двух месяцев расследования, включая личный допрос в присутствии главы советского государства Иосифа Сталина, обвинения с комдива были сняты, а сам он отпущен на свободу. В феврале 1939 г. Михаилу Ефремову было присвоено воинское звание командарма второго ранга, а 4 июня 1940 г. он стал генерал-лейтенантом. В январе 1941 г. был назначен первым заместителем генерал-инспектора пехоты Красной армии.
В начале Великой Отечественной войны (1941-1945) Михаила Ефремова назначили командующим 21-й армией, входившей в состав Западного фронта и отражавшей удары противника на могилевском направлении. С 7 августа 1941 г. военачальник стал командовать войсками Центрального фронта, а в сентябре был назначен заместителем командующего Брянским фронтом. С 1 по 17 октября 1941 г. возглавлял 10-ю армию, а затем стал командующим 33-й армии Западного фронта, которая прикрывала путь к столице по Варшавскому и Киевскому шоссе.
В начале декабря 1941 г. армия Михаила Ефремова пресекла попытку противника прорваться к Москве и перешла в контрнаступление. В дальнейшем с ее помощью были освобождены города Наро-Фоминск, Боровск и Верея. После успеха зимней кампании Московской битвы Ставка Верховного главнокомандования (ВГК) попыталась без оперативной паузы развивать наступление, взяв курс на Вязьму (Смоленская обл.). Однако в ходе начавшейся 26 января 1942 г. Ржевско-Вяземской операции ударная группировка 33-й армии генерал-лейтенанта Михаила Ефремова попала в окружение и оказалась отрезанной от своих главных сил.
С февраля 1942 г. бойцам 33-й армии пришлось действовать в немецком тылу без пополнения боеприпасов, продовольствия и медикаментов. Весь март к окруженным пытались пробить коридор действовавшие на соседних направлениях части 43-й и 50-й армий, но сосредоточенные силы противника не позволили им этого сделать. 9 апреля Ставка ВГК прислала за командармом спасательный самолет, однако Михаил Ефремов отказался покидать солдат и отправил на его борту боевые знамена своей армии и тяжелораненых солдат. С вечера 13 апреля связь со штабом 33-й армии была потеряна.
19 апреля 1942 г. около деревни Жары Смоленской обл. в бою при попытке прорыва из окружения Михаил Ефремов был тяжело ранен и, не желая попасть в плен, застрелился.
Похоронен немцами в селе Слободка Смоленской обл. После освобождения местности от оккупантов был перезахоронен на Екатерининском кладбище в г. Вязьме.
Военачальник был награжден орденом Ленина (1938), двумя орденами Красного Знамени (1920; 1942), орденом Трудового Красного Знамени РСФСР (1927), двумя орденами Красного Знамени Азербайджанской ССР, медалями и наградным оружием.
Указом Президента РФ Бориса Ельцина от 31 декабря 1996 г. генерал-лейтенанту Михаилу Ефремову посмертно было присвоено звание Героя Российской Федерации ("за мужество и героизм, проявленные в борьбе с немецко-фашистскими захватчиками").