Родился 17 марта 1920 г. в деревне Тунгипара в Восточной Бенгалии (Британская Индия) в семье зажиточного землевладельца-мусульманина.

Окончил миссионерскую школу округа Гопалгандж, в 1947 г. - Исламский колледж в Калькутте.

В годы учебы присоединился к движению за независимость Пакистана (до 1947 г. в составе Британской Индии), был активистом партии Мусульманская лига в Бенгалии.
После образования Пакистана активный участник бенгальского национального движения в Восточной Бенгалии (образовавшей провинцию Восточный Пакистан).
В 1949 г. стал одним из организаторов Мусульманской студенческой лиги Восточного Пакистана и партии "Авами лиг" (АЛ, "Народная лига"), выступающей за автономию Восточного Пакистана. В 1952-1958 гг. генеральный секретарь АЛ, с 1966 по январь 1974 г. - ее председатель.
В 1954 г. избран депутатом парламента Восточного Пакистана.
В 1956-1957 гг. министр труда, промышленности и торговли правительства Восточного Пакистана.
После установления в стране в 1958 г. военной диктатуры неоднократно подвергался репрессиям (в 1958-1961, 1962 и 1966-1969 гг.) по обвинению в подстрекательстве к сепаратизму. Каждый раз его освобождали под напором общественного мнения.
В 1966 г. выступил с программой предоставления Восточному Пакистану полной региональной автономии. В народе Рахман получил прозвище Bangabandhu ("Бангабандху", "Друг бенгальцев").
В декабре 1970 г. "Авами лиг" завоевала большинство в парламенте Восточного Пакистана, однако результаты выборов были аннулированы, и Муджибур Рахман начал кампанию гражданского неповиновения, объявив 2 марта 1971 г. днем независимости Восточного Пакистана. Вся гражданская власть в провинции перешла под его контроль, Рахман стал фактически главой правительства Восточного Пакистана. 25 марта в ситуацию вмешалась пакистанская армия, состоявшая в основном из выходцев с запада, Рахман был арестован и направлен в Западный Пакистан для судебного разбирательства по делу о мятеже и подстрекательстве к восстанию.
В ответ бенгальские националисты провозгласили независимость восточной провинции, что привело к гражданской войне. По разным оценкам, в ее ходе погибли от 200 тыс. до 3 млн человек, 8-10 млн стали беженцами. К декабрю 1971 г. сторонники независимости (при поддержке индийских войск) нанесли поражение пакистанской армии.
Все еще находившегося под арестом Муджибура Рахмана избрали президентом независимой Народной Республики Бангладеш. 16 декабря 1971 г. он был освобожден из тюрьмы. 10 января 1972 г. прибыл в Дакку.
12 января 1972 г. возглавил правительство. Основными принципами были провозглашены "национализм, секуляризм, демократия и социализм". Были проведена земельная реформа, решена проблема беженцев, создана армия, предотвращен голод.
В 1973 г. "Авами лиг" выиграла первые всеобщие выборы. Правительство приняло государственные программы по расширению начального образования, санитарии, питанию, здравоохранению, водоснабжению и электроснабжению страны. Пятилетний план предусматривал развитие сельского хозяйства, строительства и местной промышленности.
В 1974 г., когда в Бангладеш из-за наводнений погибло 80% урожая риса и начался голод, в стране прошли массовые акции протеста. Неспособность правительства справиться с инфляцией в сочетании с обвинениями в непотизме и коррупции подорвало авторитет премьер-министра.
В соответствии с поправками к конституции, принятыми 25 января 1975 г., Рахман объявил себя президентом страны и ввел однопартийную систему. Получив чрезвычайные полномочия, он объявил о необходимости новой революции, которая должна покончить с коррупцией. Стремление Муджибура Рахмона установить авторитарный режим усугубило недовольство части офицерства, что привело к военному перевороту.
15 августа 1975 г. он был убит в своей резиденции в Дакке вместе с женой, тремя сыновьями, другими родственниками и близкими семьи (около 20 человек). Расследование обстоятельств гибели Рахмана не проводилось до 1996 г., когда премьер-министром страны стала его дочь Шейх Хасина (в момент убийства находилась в ФРГ). В 1998 г. офицеры, принимавшие участие в перевороте, были заочно приговорены к смертной казни, пятеро из них были казнены в 2009 г. Последний смертный приговор был приведен в исполнение в 2020 г., когда был казнен скрывавшийся 24 года бывший офицер армии Бангладеш Абдул Маджед.