Gowonas įstojo į Nigerijos armiją 1954 m. ir 1955 m. spalio 19 d., savo 21-ojo gimtadienio dieną, gavo antrąjį leitenantą. Jis buvo apmokytas prestižinėje Karališkojoje karinėje akademijoje Sandhurst, Jungtinėje Karalystėje (1955-1956), Staff College, Camberley, Jungtinėje Karalystėje (1962), taip pat Jungtiniame štabo koledže, Latimer, 1965. Jis matė veiksmus Kongo
kaip Jungtinių Tautų taikos palaikymo pajėgų dalis 1960-1961 m. ir 1963 m. 1966 m. jis buvo paaukštintas į bataliono komandanto laipsnį, tuo metu jis dar buvo pulkininkas leitenantas.