Hij bleef loyaal aan president Ali Nasser Mohammed tijdens de burgeroorlog in Zuid-Jemen.
, en volgde hem in ballingschap in het naburige Noord-Jemen. Tijdens de burgeroorlog in Jemen in 1994 stond Hadi aan de kant van de Jemenitische regering van president Ali Abdullah Saleh en werd hij benoemd tot minister van Defensie. In deze rol leidde hij de militaire campagne tegen de Democratische Republiek Jemen. Na de oorlog werd hij gepromoveerd tot vice-president op 3 oktober 1994, ter vervanging van Ali Salim Al-Beidh, die ontslag had genomen en tijdens de burgeroorlog tegen de regering had gevochten.