1955 m. jis įstojo į Prancūzijos kariuomenę ir buvo dislokuotas Alžyre per
1957 m. Nepriklausomybės karas. Po tarnybos Prancūzijos kariuomenėje Conté grįžo į Gvinėją, kuri 1958 m. Spalio 2 d. tapo nepriklausoma nuo Prancūzijos, ir buvo integruota į naują armiją seržanto laipsniu. 1962 m. jis lankė "Camp Alpha" karininkų mokyklą Konakryje. Netrukus jis buvo perkeltas į 2-ojo batalionų artilerijos mokymo centrą Kindia. 1963 m. liepos 1 d. jis buvo paaukštintas į antrąjį leitenantą. Po dvejų metų jis buvo paaukštintas iš antrosios leitenantės į leitenantę. 1970 m. lapkričio 22 d. Portugalijos kariuomenė kartu su Gvinėjos disidentais įsiveržė į šalį iš Portugalijos Gvinėjos (dabar - Gvinėja-Bisaus), akivaizdžiai bandydami nuversti prezidento Ahmedo Seku Touro vyriausybę ir sunaikinti PAIGC partizanus. Už savo tarnybą šaliai 1971 m. vasario 27 d. jis buvo paaukštintas į kapitono laipsnį. 1973 m. jis buvo paskirtas Boké operacinės zonos (Šiaurės vakarų Gvinėjoje) vadu, kad padėtų nepriklausomybės partizanų judėjimui, Afrikos partijai už Gvinėjos ir Žaliojo Kyšulio nepriklausomybę (PAIGC) kaimyninėje Portugalijos Gvinėjoje. 1975 m. gegužės 10 d. jis buvo paskirtas armijos štabo vadovo pavaduotoju.