Родился в крестьянской семье в селе Воскресенское ныне Тёмкинского района Смоленской области.
С 1923 года в Москве.
Окончил школу-девятилетку с химическим уклоном (1927).
С 1928 г. пионервожатый, с 1929 г. рабочий-прессовщик химического завода.
Окончил химический факультет МГУ (1930—1935).
В 1935—1937 гг. в Советской Армии.
В 1937—1940 гг. обучался в аспирантуре НИИ химии при МГУ, защитил в 1940 г. кандидатскую диссертацию «Синтез альфа-амино-бета-оксикислот и их дегидратация».
В декабре 1940 — октябре 1941 гг. заместитель директора НИИ химии при МГУ.
В октябре 1941 г. добровольцем ушёл на фронт, служил в военно-морском флоте начальником отделения Управления в Наркомате. Демобилизовался в 1946 году.
С 1946 г. старший научный сотрудник, заместитель директора НИИ химии при МГУ.
С 1951 года заместитель, в 1959—1966 годах первый заместитель министра высшего и среднего образования СССР.
В 1961 году организовал и возглавил кафедру химии природных соединений в МГУ.
Доктор химических наук (1963).
С мая 1966 года работал министром просвещения РСФСР, с декабря того же года первый союзный министр просвещения, возглавлял министерство до 1984 года.
Нуклеотидопептиды фосфоамидного типа (совм. с З. А. Шабаровой) // Проблемы органической химии. М., 1970;
по управлению просвещением
Проблемы демократизации высшей школы в Советском Союзе / М. А. Прокофьев. - [Москва], [1958]. - 26 с.
Доклад министра просвещения РСФСР М. А. Прокофьева о задачах органов народного образования по выполнению постановления ЦК КПСС и Совета Министров СССР 25 ноября 1966 г. / М-во просвещения РСФСР. - Москва : Просвещение, 1966. - 31 с.; 22 см.
Советская школа на современном этапе / М. А. Прокофьев. - Москва : Педагогика, 1971. - 61 с.
издавалось Аг-вом печати "Новости" на англ., немецком, франц. языках (1968).
XXIV съезд КПСС и задачи организаций Всесоюзного общества "Знание" : (Материалы к докладу члена ЦК КПСС, члена Президиума Правл. О-ва, министра просвещения СССР, чл.-кор. АН СССР М.А. Прокофьева на Объедин. пленуме правл. Всесоюз. о-ва "Знание" и о-ва "Знание" РСФСР) / Всесоюз. о-во "Знание". - Москва : [б. и.], 1971. - 40 с.
О задачах органов народного образования по завершению перехода ко всеобщему среднему образованию молодёжи. - Москва, 1974. - 37 с.; 21 см. - (Доклад на Третьем Всес. совещ.-семинаре министров просвещения и заведующих обл(край)ОНО, ноябрь 1974 г./ М-во просвещения СССР; 1).
Народное образование в СССР / [М. А. Прокофьев, Е. М. Кожевников, М. И. Журавлева и др.] ; под ред. М. А. Прокофьева. - Москва : Педагогика, 1985. - 448 с.
Послевоенная школа России. М., 1997.
редакторская деятельность
Народное образование в СССР. 1917-1967 / [К. Айманов и др.] ; под ред. М. А. Прокофьева [и др.]. - Москва : Просвещение, 1967. - 541, [2] с. : табл.
Химия в школе : Сб. нормат. документов / Сост. В. И. Сушко; Под ред. М. А. Прокофьева, И. Н. Черткова. - Москва : Просвещение, 1987. - 191,[1] с.
Фишер, Эмиль (1852-1919). Избранные труды / изд. подгот. А.Н. Шамин ; [отв. ред. М.А. Прокофьев]. - Москва : Наука, 1979. - 639 с., 1 л. портр. : ил.; 22 см. - (Классики науки).
Энциклопедический словарь юного химика : Для сред. и ст. шк. возраста / Отв. ред. М. А. Прокофьев, Д. Н. Трифонов. - 3-е изд., испр. и доп. - Москва : Педагогика-пресс, 1999. - 365, [2] с. : ил., цв. ил., портр.; 27 см.; ISBN 5-7155-0763-4