כתוב המשך לפרק זה - בעקבות ההפיכה הקומוניסטית
בשנת 1978, אחמדזאי חזר לאפגניסטן כדי להצטרף למוג'אהדין. הוא היה שותף קרוב של ברחנודין רבאני, שהיה סגן מפלגתו ג'מיאת-אי-אסלאמי, אבל אז עזב והצטרף למפלגה של ארגון הדאווה האסלאמי של אפגניסטן של עבדול ראסל סיאף בשנת 1992, השנה שבה הסתיימה השלטון הקומוניסטי. הוא כיהן כשר בממשלת אפגניסטן הפוסט-קומוניסטית, בתחומים שונים כשר הפנים, בנייה וחינוך, ומאוחר יותר הפך לראש הממשלה בין השנים 1995 ל-1996, אם כי הוא הפחית את חשיבות התפקידים הללו בהתחשב בכאוס שנגרם בשל הלחימה באותה תקופה.