Родился 7 января 1954 г. в г. Кано (Нигерия), где работал его отец.
Окончил Военный академический университет в Бенгази (Ливия; Benghazi Military University Academy), имеет звание полковника.
По данным СМИ, в 1980-х гг., в период правления Муамара Каддафи, некоторое время находился в заключении. Причиной ареста стали преследования его брата, бывшего летчика ливийских ВВС, который бежал из страны во время чадско-ливийского конфликта 1978-1987 гг.
После падения режима Каддафи в 2011 г. ат-Тани активно занялся политической деятельностью. В августе 2013 г. занял пост министра обороны в правительстве Али Зейдана и оставался на нем до октября 2014 г.
11 марта 2014 г. он возглавил временное правительство, после того как Всеобщий национальный конгресс (ВНК, однопалатный парламент, избранный в 2012 г.) вынес Зейдану вотум недоверия. В этот период в стране все более усугублялась ситуация с обеспечением безопасности. Власти были не в состоянии противостоять вооруженным отрядам исламистов, которые постепенно захватывали контроль над значительными территориями страны. Этот фактор стал решающим в отставке Зейдана. Кабинету ат-Тани в начале апреля 2014 г. удалось достичь договоренности с вооруженными ополченцами, захвативших летом 2013 г. ряд нефтяных объектов на востоке страны. В частности, блокада была снята с терминалов Марса-эль-Харига и Зуэйтина.
13 апреля 2014 г. на ат-Тани и членов его семьи было совершено нападение со стороны неизвестных лиц. После этого инцидента он подал прошение об отставке, объяснив свой шаг тем, что "не хочет быть причиной убийства ливийцами друг друга". Ат-Тани должен был исполнять обязанности премьер-министра до назначения нового главы кабинета. Однако после того как 5 мая 2014 г. ВНК утвердил Ахмеда Майтыга на посту главы правительства, ат-Тани отказался передать ему власть. Тем не менее Майтыг сформировал свой кабинет. Таким образом, в Ливии сложилась кризисная ситуация, когда параллельно действовали два правительства. В начале июня Высший конституционный суд Ливии признал назначение Майтыга на пост премьера противоречащим закону.
В конце июня 2014 г. в Ливии был избран постоянный законодательный орган, преемник ВНК - Палата представителей (из-за непрекращающихся боев в Триполи и Бенгази его штаб-квартирой был выбран г. Тобрук на востоке страны). В сентябре палата утвердила ат-Тани на посту премьер-министра. Его кабинет получил международное признание. Ввиду того, что Триполи находится под контролем исламистов, правительство ат-Тани базируется в Тобруке. Вплоть до настоящего времени в Ливии сохраняется двоевластие.
На посту премьер-министра ат-Тани выступал за восстановление единства Ливии, против иностранного вмешательства во внутренние дела страны. Поддержал проводимую против исламистов военную операцию во главе с генералом Халифой Хафтаром (верховный главнокомандующий вооруженными силами Ливии с 3 марта 2015 г.).
В апреле 2015 г. совершил визит в Москву, где встретился с министром иностранных дел РФ Сергеем Лавровым, главой МВД Владимиром Колокольцевым и секретарем Совета безопасности РФ Николай Патрушевым. Ат-Тани обратился к российскому руководству с просьбой оказать содействие международным усилиям по обеспечению стабилизации обстановки в регионе. Также заявил о готовности Ливии к сотрудничеству с российскими компаниями в нефтегазовой сфере.
26 мая 2015 г. в Тобруке на ат-Тани было совершено покушение, в результате которого ранения получили его телохранители.