Родился в театральной семье. Является актёром в третьем поколении. Его отец — Олег Ефремов, мать — актриса «Современника» Алла Покровская, дед — оперный режиссёр Борис Покровский, прапрадед — создатель нового чувашского алфавита и просветитель Иван Яковлевич Яковлев.
Впервые Михаил Ефремов вышел на сцену МХАТа и сыграл настоящую (хотя и небольшую) роль ещё мальчиком — в спектакле «Уходя, оглянись!». В кино он стал сниматься тоже будучи школьником: в 1976 году состоялся его кинодебют в картине «Дни хирурга Мишкина», а два года спустя участие в фильме «Когда я стану великаном» сделало его одним из самых популярных юных актёров страны.
В 1982—1984 годах служил в рядах Советской армии, службу проходил в войсках ВВС, в/ч 74326 (Школа младших авиационных специалистов, г. Вышний Волочек), рота ПС.
В 1987 году возглавил Театр-студию «Современник-2», где играли Сергей Шеховцов, Андрей Зайков, Елена Гольянова, Никита Высоцкий, Мария Евстигнеева, Вячеслав Невинный-младший, Михаил Горевой, Елена Яралова. Студия «Современник-2» распалась в 1990 году.
В 1991—1996 годах — актёр МХТ имени А. П. Чехова.
С 2006 года приглашался в члены жюри Высшей лиги КВН.
В 2007 году Михаил Ефремов удостоен премии «Золотой орёл» в номинации «Лучшая мужская роль в кино» за роль в фильме «12», а в 2009 году — специального приза жюри «Серебряная ладья» за «лучшее исполнение мужской роли» на проходившем в Выборге XVII кинофестивале «Окно в Европу» за роль в фильме «Кошечка».
В 1987 году окончил Школу-студию МХАТ.