Haqqani nació, hijo de un rico terrateniente y comerciante, en 1939 en el pueblo de Karezgay en el distrito de Zadran de la provincia de Paktia, Afganistán, aunque la familia más tarde se mudó a Sultankhel. Era un pastún étnico de la tribu Zadran de Khost. Realizó estudios religiosos avanzados en el seminario Dar-al-'Ulam Haqqaniya Deobandi en 1964 y se graduó, lo que le dio derecho a la condición de mawlawi en Peshawar en 1970. Después del exilio del rey Zahir Shah y el ascenso al poder del presidente Daoud Khan en 1973, la situación política en Afganistán comenzó a cambiar lentamente. Varios partidos como el Partido Democrático Popular de Afganistán (PDPA) y otros buscaban el poder. Haqqani fue uno de ellos, y después de ser sospechoso de conspirar contra el gobierno se exilió y se estableció en y alrededor de Miranshah, Pakistán. Desde allí comenzó a organizar una rebelión contra el gobierno de Daoud Khan en 1975. Después de la revolución marxista de 1978
Haqqani se unió al Hezb-i Islami de Mawlawi Mohammad Yunus Khalis por el PDPA.