FP'nin kapatılmasından sonra Adalet ve Kalkınma Partisi (AK Parti) kurucuları arasında yer alan Gül bu partide Kayseri Milletvekili ve Siyasi ve Hukuki İşlerden sorumlu Genel Başkan Yardımcısı olarak görev yaptı. 16 Kasım 2002 tarihinde Başbakan olarak 58.Hükümet'i kurmakla görevlendirildi. Tayyip Erdoğan'ın milletvekili seçilmesi üzerine 11 Mart 2003'te Cumhurbaşkanı Sezer'e istifasını sundu. Aynı gün yeni kabineyi kurma görevini alan Erdoğan'ın 14 Mart 2003'te açıkladığı kabinede Başbakan Yardımcısı ve Dışişleri Bakanı olarak görev aldı. Düne kadar görevini sürdürdü.