Родился 26 октября 1899 г. в Москве в семье типографского рабочего.
С 1913 г. работал помощником наборщика в типографии. В 1915 г. стал административным сотрудником частного оперного театра Сергея Зимина. Участвовал в его постановках в качестве статиста.
В 1919 г. Михаил Жаров окончил студию при театре Художественно-просветительного союза рабочих организаций.
В 1920 г. участвовал в постановках Первого передвижного фронтового художественного театра классической комедии (действовал при Политуправлении Рабоче-крестьянской Красной армии), в 1921 г. - московского Опытно-героического театра (существовал в 1921-1923 гг.).
С 1921 по 1925 г. Михаил Жаров был актером Театра им. Вс. Мейерхольда. Исполнял роли в спектаклях "Смерть Тарелкина" по комедии Александра Сухово-Кобылина, "Учитель Бубус" по пьесе Алексея Файко, "Мандат" по произведению Николая Эрдмана.
В 1926-1927 гг., а также в 1929 г. участвовал в постановках Бакинского рабочего театра (ныне Азербайджанский государственный академический русский драматический театр им. Самеда Вургуна), в 1928 г. - Казанского Большого драматического театра (ныне Казанский государственный академический русский Большой драматический театр им. В. И. Качалова), в 1930 г. - московского Реалистического театра (работал в 1927-1937 гг.).
В 1931-1937 гг. Михаил Жаров был актером московского Камерного театра под руководством Александра Таирова (существовал в 1914-1950 гг.). Зрительский успех ему принесла роль Алексея в спектакле по пьесе Всеволода Вишневского "Оптимистическая трагедия". Также он стал режиссером постановки "Очная ставка" по пьесе Льва Шейнина и братьев Тур.
В 1938-1981 гг. служил в Государственном академическом Малом театре. Исполнял роли в спектаклях: "Волки и овцы" и "Пучина" по произведениям Александра Островского, "Русский вопрос" по пьесе Константина Симонова, "Васса Железнова" по пьесе Максима Горького, "Власть тьмы" по произведению Льва Толстого, "Иванов" по пьесе Антона Чехова, "Луна зашла" по произведению Джона Стейнбека, "Самый последний день" по повести Бориса Васильева. Выступил в качестве режиссера постановок "Голос Америки" по политической драме Бориса Лавренева и "Браконьеры" по пьесе Эгона Раннета.
Михаил Жаров снимался в кино. Дебютировал в эпизодической роли опричника в исторической картине "Царь Иван Васильевич Грозный" (1915, режиссер Александр Иванов-Гай). В общей сложности его фильмография насчитывает около 60 ролей. Среди них: Фомка Жиган в первом советском художественном звуковом фильме "Путевка в жизнь" (1931, Николай Экк), учитель Михаил Александрович Коваленко в экранизации рассказа Антона Чехова "Человек в футляре" (1939, Исидор Анненский), летчик Иван Баранов в музыкальной комедии "Воздушный извозчик" (1943, Герберт Раппапорт), начальник базы Вадим Еропкин в комедии "Близнецы" (1945, Константин Юдин), директор музыкального магазина Аркадий Свиристинский в комедии "Девушка с гитарой" (1958, Александр Файнциммер), Дмитрий Петрович Ухов в мелодраме "Старшая сестра" (1966, Георгий Натансон), сельский участковый Федор Иванович Анискин в фильме "Деревенский детектив" (1968, Иван Лукинский).
В качестве кинорежиссера Михаил Жаров поставил фильмы "Беспокойное хозяйство" (1946), "Анискин и Фантомас" (1973, вместе с Виталием Ивановым и Владимиром Рапопортом), "И снова Анискин" (1977, вместе с Вителием Ивановым). В первом исполнил роль гвардии старшины Семибаба, в других - сельского участкового Федора Анискина.
Михаил Жаров скончался 15 декабря 1981 г. в Москве на 83-м году жизни. Похоронен на столичном Новодевичьем кладбище.
Герой Социалистического Труда (1974).
Народный артист СССР (1949).
Был награжден орденами Трудового Красного Знамени (1938, 1949), Красной Звезды (1944), Ленина (1967, 1970, 1974), Октябрьской Революции (1979).
Лауреат Сталинской премии I (1941, 1942) и II (1947) степеней.
Автор книги воспоминаний "Жизнь, театр, кино" (1967).
Был женат четыре раза. Первая супруга - Надежда Гузовская. Сын - Евгений (1921-1995, заслуженный артист РСФСР). Второй женой была Людмила Полянская. В браке родились два сына, которые умерли в младенчестве. Третья супруга - народная артистка РСФСР Людмила Целиковская. Четвертой женой была Майя Гельштейн. Дочери - Анна (род. 1951, актриса Государственного академического Малого театра) и Елизавета (род. 1953, художник-постановщик мультипликационных фильмов).