Родился 9 ноября 1902 г. (27 октября 1902 г. по старому стилю) в гор. Борисоглебске Тамбовской губернии Российской империи (ныне в Воронежской обл. РФ).
В 1913 г. окончил церковно-приходскую школу, затем посещал Липецкое реальное училище. После 1917 г. работал в железнодорожных мастерских и одновременно с этим учился в вечерней школе второй ступени в родном городе.
В 1920 г. добровольцем вступил в ряды Рабоче-крестьянской Красной армии (РККА). Служил красноармейцем, командиром отделения, политбойцом. В период Гражданской войны 1917-1922 гг. воевал на Польском фронте, участвовал в подавлении Тамбовского восстания, боролся с басмачеством в Средней Азии. Был слушателем военно-политических курсов Туркестанского фронта. Непродолжительное время числился в запасе по состоянию здоровья.
В 1924 г. вернулся в Красную армию. Со второй половины 1920-х по 1930-е гг. включительно занимал различные военно-политические и командные должности в артиллерийских частях. Окончил артиллерийские курсы усовершенствования командного состава РККА. После этого командовал батареей, дивизионом, был начальником штаба артиллерийского полка.
В 1937-1939 гг. Митрофан Неделин в качестве добровольца принимал участие в гражданской войне в Испании на стороне республиканского правительства.
По возвращении в СССР досрочно получил звание полковника и был награжден орденом Красного Знамени. Затем являлся командиром полка, старшим инспектором по артиллерии в Московском военном округе (ВО), а в 1940 г. стал начальником артиллерии 160-й стрелковой дивизии того же округа.
В 1941 г. окончил полугодичные Высшие артиллерийские академические курсы усовершенствования командного состава при Артиллерийской академии РККА им. Ф. Э. Дзержинского в Москве (ныне Военная академия Ракетных войск стратегического назначения им. Петра Великого, г. Балашиха, Московская обл.). После был назначен командиром 4-й артиллерийской истребительной противотанковой бригады в Киевском особом ВО.
На этом посту в начале Великой Отечественной войны 1941-1945 гг. Митрофан Неделин участвовал в боях на Южном фронте. Затем занимал должности заместителя начальника артиллерии 18-й армии, заместителя командующего артиллерией 37-й армии, заместителя командующего артиллерией 56-й армии, заместителя командующего артиллерией Северо-Кавказского фронта и командира 5-го артиллерийского корпуса прорыва Резерва Верховного главнокомандования в Московском ВО. С июля 1943 г. и до конца войны командовал артиллерией Юго-Западного (впоследствии - 3-й Украинский) фронта. Участвовал в битве за Кавказ, в боях за Днепр, а также в Ясско-Кишиневской, Будапештской, Венской и Балатонской операциях.
Указом Президиума Верховного Совета СССР от 28 апреля 1945 г. генерал-полковнику артиллерии Митрофану Неделину было присвоено звание Героя Советского Союза с вручением ордена Ленина и медали "Золотая Звезда" - "за образцовое выполнение боевых заданий командования на фронте борьбы с немецкими захватчиками и проявленные при этом отвагу и геройство".
После войны Митрофан Неделин командовал артиллерией Южной группы войск. В 1946 г. возглавил штаб артиллерии Управления командующего артиллерией Сухопутных войск, а позднее штаб артиллерии Вооруженных сил (ВС) СССР.
В 1948 г. Митрофан Неделин стал начальником Главного артиллерийского управления ВС СССР. В 1950 г. был назначен командующим артиллерией ВС СССР и заместителем военного министра СССР по вооружению. В 1955-1959 гг. занимал пост заместителя министра обороны СССР по специальному вооружению и ракетной технике. В 1959 был назначен главнокомандующим Ракетными войсками стратегического назначения (РВСН) – заместителем министра обороны, председателем военного совета РВСН. Внес большой вклад в создание и развитие РВСН.
Митрофан Неделин погиб на 58-м году жизни 24 октября 1960 г. на космодроме Байконур (Казахская ССР, ныне Казахстан), когда при подготовке к первому летному испытанию взорвалась межконтинентальная баллистическая ракета Р-16. Вместе с маршалом тогда погибли 73 человека (56 военных и 17 гражданских специалистов). Урна с прахом военачальника замурована в Кремлевской стене на Красной площади Москвы. На месте гибели установлен памятный знак.
В 1954-1960 гг. Митрофан Неделин избирался депутатом Верховного Совета СССР. Был делегатом XIX и XX съездов КПСС, кандидатом в члены ЦК КПСС в 1952-1960 гг.
В 1959 г. был произведен в главные маршалы артиллерии.
Был награжден пятью орденами Ленина (1944, двумя в 1945, 1956, 1957), четырьмя орденами Красного Знамени (1938, 1942, 1944, 1950), орденом Суворова I степени (1944), двумя орденом Кутузова I степени (1943) орденом Богдана Хмельницкого I степени (1944), орденом Отечественной войны I степени (1944), орденом "Знак Почета" (1936), российским орденом Мужества (1999, посмертно), медалями, а также иностранными наградами.
Автор статей "Артиллерия в боях за освобождение Югославии", "Разгром немецко-фашистских войск в боях за Вену".