Родился 7 февраля 1934 г. в деревне Таваканово Кугарчинского района Башкирской АССР (ныне Республика Башкортостан).
В 1956 г. окончил Уфимский нефтяной техникум. В 1964 г. без отрыва от производства окончил Уфимский нефтяной институт (ныне Уфимский государственный нефтяной технический университет) по специальности "инженер-технолог".
С 1956 по 1990 г. работал на Уфимском нефтеперерабатывающем заводе (ныне "Башнефть-УНПЗ", филиал акционерной нефтяной компании "Башнефть"). Был оператором, начальником установки, заместителем начальника цеха, заместителем начальника производства, заместителем главного инженера по пуску и наладке новых производств. С 1976 по 1978 г. - главный химик - заместитель главного инженера завода, с 1978 по 1986 г. - главный инженер. В 1986-1990 гг. занимал пост директора предприятия.
Член КПСС (1974-1991).
В 1986-1993 гг. - депутат Верховного Совета (ВС) Башкирской АССР. В 1989-1991 гг. - народный депутат СССР, член Верховного Совета СССР. Избирался также депутатом Уфимского городского совета народных депутатов.
6 апреля 1990 г. был избран председателем ВС Башкирской АССР (с февраля 1992 г. - Республика Башкортостан) XII созыва. Находился на посту до декабря 1993 г. Выступал за максимальную независимость Башкирии и повышение статуса автономных республик до уровня союзных. За время его руководства была принята Декларация о государственном суверенитете Башкирской ССР (11 октября 1990 г.), подписаны Федеративный договор о разграничении предметов ведения и полномочий между федеральными органами государственной власти РФ и органами власти республик в составе России (31 марта 1992 г.), а также приложение к нему от Башкирии. Документ, в частности, предоставлял республике исключительное право на собственность на ее территории (землю, недра и др.), признавал ее самостоятельность во внешнеэкономической деятельности, в создании системы законодательства и судебной систем и др.
Во время событий августа 1991 г. (попытка государственного переворота, организованного членами ГКЧП, или "августовский путч") Муртаза Рахимов находился в Москве, где встречался с руководителем ГКЧП Геннадием Янаевым, а также с президентом РСФСР Борисом Ельциным. После провала переворота выступил в поддержку российского руководства и заявил о выходе из КПСС.
С 1993 по 2010 г. - президент Республики Башкортостан.
Пост президента республики был учрежден 15 октября 1991 г. Первые выборы состоялись 12 декабря 1993 г. За Муртазу Рахимова отдали голоса 64% избирателей. Его единственный соперник – президент банка "Восток" Рафис Кадыров - получил 28,5% голосов. 24 декабря 1993 г. была принята Конституция Республики Башкортостан, на следующий день Муртаза Рахимов официально вступил в должность.
Он переизбирался на пост президента республики 14 июня 1998 г. (70,24%) и 21 декабря 2003 г. (78,01%). 11 декабря 2004 г. был подписан федеральный закон, который отменил прямые выборы глав регионов. 10 октября 2006 г. Государственное собрание Башкортостана утвердило кандидатуру Муртазы Рахимова, предложенную президентом РФ, на пост главы республики на новый срок.
Одновременно в 1993-2001 гг. Муртаза Рахимов являлся членом Совета Федерации РФ. 12 декабря 1993 г. он был избран в первый состав Совфеда по Башкирскому двухмандатному избирательному округу №2, получив 60,83% голосов избирателей. С 1994 г. работал в комитете СФ по делам Федерации, Федеративному договору и региональной политике. С 1996 г., после изменения принципа формирования Совета Федерации, входил в верхнюю палату парламента как глава республики. С 1996 г. являлся членом комитета по конституционному законодательству и судебно-правовым вопросам.
С марта 1997 г. входил в состав федеральной комиссии по проблемам Чечни, с марта 1998 г. - правительственной комиссии по реализации Концепции государственной национальной политики.
С апреля 1995 г. являлся членом организационного комитета движения "Наш дом - Россия" (НДР), входил в состав политсовета движения.
В 1999 г. стал одним из основателей и лидеров движения "Вся Россия". В том же году движение вместе с "Отечеством" объединилось в избирательный блок "Отечество - Вся Россия", который в декабре 2001 г. вошел в состав партии "Единая Россия". Впоследствии Муртаза Рахимов был избран членом высшего совета партии.
Полномочия Муртазы Рахимова на посту президента Башкирии истекали в 2011 г. Однако 13 июля 2010 г. стало известно, что на встрече с руководителем Администрации президента РФ Сергеем Нарышкиным Рахимов заявил, что "не намерен оставаться на своем посту на следующий срок". Это заявление последовало вскоре после того, как депутаты Госсобрания Башкортостана прекратили полномочия сына президента республики - Урала Рахимова, подозреваемого в незаконном присвоении и легализации акций компании "Башнефть" (в 2014 г. в отношении Урала Рахимова было возбуждено уголовное дело, он объявлен в международный розыск).
15 июля 2010 г. глава государства Дмитрий Медведев принял досрочную отставку Муртазы Рахимова, назначив временно исполняющим обязанности главы Башкортостана Рустэма Хамитова, бывшего заместителя председателя правления ОАО "Русгидро".
В октябре 2010 г. Муртаза Рахимов занял пост председателя совета благотворительного фонда "Урал". В 2010-2012 гг. был членом совета директоров ОАО АНК "Башнефть".
Скончался 11 января 2023 г. после тяжелой продолжительной болезни. 13 января в церемонии прощания, проходившей в Государственном концертном зале "Башкортостан" в Уфе, принял участие президент РФ Владимир Путин.
13 февраля 2023 г. глава Башкортостана Радий Хабиров подписал указ об увековечении памяти Муртазы Рахимова, в соответствии с которым музей его памяти появится в его родной деревне, на доме, где он жил, разместят мемориальную табличку, а в Уфе поставят памятник. Также его именем назовут две республиканские гимназии.
Был награжден орденами "Знак Почета" (1980), Трудового Красного Знамени (1986), Дружбы народов РФ (1994), "За заслуги перед Отечеством" I и II степеней (2010, 1999). Имел Почетные грамоты президента (2009) и правительства РФ (2002), благодарности президента (1996, 1999, 2004) и правительства РФ (2004, 2005). Был удостоен государственной награды Абхазии - ордена "Честь и слава" (2003).
Был награжден орденами "За заслуги перед Республикой Башкортостан" (2000), Салавата Юлаева (2004; Башкортостан), Дружбы народов (2009; Башкортостан).
Заслуженный рационализатор РСФСР (1974), заслуженный нефтяник Башкирской АССР (1977).
Являлся почетным гражданином гг. Нефтекамска, Стерлитамака, Уфы, а также Белорецкого района и г. Белорецка, Кугарчинского района Башкортостана.
Автор более 50 изобретений в области нефтепереработки.