Gül, 1991 yılında büyük oğlu Ahmet Münir'in sünneti için Türkiye'ye geldiğinde, erken seçim kararı alınır. İslam Kalkınma Bankası'ndaki görevi devam ederken, Abdullah Gül'e Refah Partisi Kayseri teşkilatından milletvekili adaylığı için bir teklif gelir. Teklifi kabul eden Gül, Kayseri'den 6 RP'li ile birlikte Meclis'e girer. 1993 yılında, RP'nin Dış İlişkilerden Sorumlu Genel Başkan Yardımcılığı'na getirilir. Avrupa'nın en büyük siyasi platformu olan Avrupa Konseyi Parlamenterler Asamblesi'nde milletvekili olarak Türkiye'yi temsil eder. 24 Aralık 1995 seçimlerinde Refah Partisi'nden 2. kez milletvekili seçilir. Erbakan Hükümeti'nde Devlet Bakanlığı ve Hükümet Sözcülüğü yapar. Refahyol Hükümeti'nde iktidarın büyük ortağı Refah Partisi'nin dış politika alanında en büyük katılımı olarak gerçekleşen D-8 PROJESİ'nin hayata geçmesinde Erbakan'dan sonra birinci derecede rol alır. İstanbul'da yapılan D-8 Zirvesi'nin gerçekleşmesi için gösterdiği çabalarıyla kamuoyuna Refahyol Hükümeti'nin alternatif Dışişleri Bakanı olarak yansır.