Родился 19 марта 1942 г. в Сан-Паулу, Бразилия, в небогатой семье эмигрантов из Италии.
В 1960 г. поступил в Политехническую школу Университета штата Сан-Паулу, где изучал инженерное дело. Во время учебы был избран председателем Союза студентов штата Сан-Паулу, а затем возглавил Национальный студенческий союз (эта организация играла важную роль в политической жизни страны).
После свержения президента Жуана Гуларта в ходе государственного переворота 31 марта-1 апреля 1964 г. Жозе Серра подвергся преследованиям со стороны военного правительства Умберту ди Аленкара Кастелу Бранку за свою деятельность в рамках Национального студенческого союза. Был вынужден бросить учебу и бежать из страны. В 1964-1978 гг. находился в эмиграции в Боливии, Франции, Чили и США. За границей продолжил обучение: окончил экономический факультет Чилийского университета; получил степень магистра, а затем доктора экономических наук в Корнелльском университете (США); прошел двухгодичный курс в Институте перспективных исследований Принстонского университета (США).
Находясь в Чили, некоторое время преподавал математику для экономистов в институте при Экономической комиссии для Латинской Америки и Карибского бассейна (ЭКЛАК; орган системы ООН). Также в течение нескольких месяцев был советником в правительстве президента Чили Сальвадора Альенде. После военного переворота под руководством Аугусто Пиночета и гибели президента Альенде в 1973 г. сумел укрыться в посольстве Италии в Чили, после чего бежал в США.
Жозе Серра вернулся в Бразилию в 1978 г., за год до принятия закона об амнистии политических эмигрантов. Он пытался принять участие в выборах в палату депутатов (нижняя палата парламента Бразилии) от партии "Бразильское демократическое движение" (прекратила существование в 1979 г.), однако его кандидатура была отвергнута, так как он по-прежнему был лишен политических прав.
В 1978-1983 гг. преподавал экономику в Университете Кампинаса (штат Сан-Паулу). Также проводил исследования в Бразильском центре анализа и планирования (Cebrap) и писал статьи для газеты "Фолья ди Сан-Паулу".
В 1983 г. стал секретарем по экономике и планированию в правительстве штата Сан-Паулу, возглавляемом губернатором Франку Монтору.
В 1986 г. Жозе Серра был избран депутатом Национального конгресса (парламента) от штата Сан-Паулу, в 1990 г. переизбран на новый срок.
В 1988 г. стал одним из основателей Партии бразильской социал-демократии (ПБСД).
В 1994 г. был избран сенатором Национального конгресса, однако отказался от мандата в связи с назначением на пост министра планирования и бюджета в правительстве президента Фернанду Энрики Кардозу (ПБСД). Находился в должности с января 1995 г. по апрель 1996 г., когда подал в отставку, чтобы принять участие в выборах мэра г. Сан-Паулу, однако занял лишь третье место. После этого возобновил исполнение обязанностей сенатора до окончания парламентского срока в 1998 г. Впоследствии также был сенатором Национального конгресса в 2002-2003 и 2015-2016 гг.
В 1998-2002 гг. - министр здравоохранения. На этом посту успешно реализовал программу по борьбе со СПИДом.
В 2002 и 2010 гг. был кандидатом на пост президента Бразилии от ПБСД (в первом случае уступил кандидату от Партии трудящихся Луису Инасио Луле да Силве, во втором - Дилме Руссефф).
В 2003-2005 гг. - национальный председатель ПБСД.
В 2005-2006 гг. - мэр г. Сан-Паулу.
В 2007-2010 гг. - губернатор штата Сан-Палу.
12 мая 2016 г. был назначен министром иностранных дел в правительстве Мишела Темера.
22 февраля 2017 г. подал в отставку из-за проблем со здоровьем.
Женат, супруга - Моника Серра. У пары двое детей.