Haqqani werd geboren als zoon van een rijke landeigenaar en handelaar in 1939 in het dorp Karezgay in het district Zadran van de provincie Paktia, Afghanistan, hoewel het gezin later naar Sultankhel verhuisde. Hij was een etnische Pashtun van de Zadran stam van Khost. Hij ondernam geavanceerde religieuze studies aan het Dar-al-'Ulam Haqqaniya Deobandi seminarium in 1964 en studeerde af, waardoor hij in 1970 de status van mawlawi in Peshawar kreeg. Na de ballingschap van koning Zahir Shah en de machtsovername van president Daoud Khan in 1973 begon de politieke situatie in Afghanistan langzaam te veranderen. Een aantal partijen zoals de Democratische Volkspartij van Afghanistan (PDPA) en anderen streefden naar macht. Haqqani was een van hen, en nadat hij werd verdacht van samenzwering tegen de regering ging hij in ballingschap en vestigde zich in en rond Miranshah, Pakistan. Van daaruit begon hij in 1975 een opstand tegen de regering van Daoud Khan te organiseren. Na de marxistische revolutie van 1978
door de PDPA is Haqqani toegetreden tot de Hezb-i Islami van Mawlawi Mohammad Yunus Khalis.