Z téměř 300 kadetů v jeho třídě a navzdory úspěšnému absolvování všech částí kurzu, byl Gary jediný, který nebyl pověřen jako důstojník. Věřil, že vojenský establishment nedůvěřoval tomu, koho považovali za cizince a Žida. Trénoval na letounech Potez 25 a Goëland Léo-20 a s 250 hodinami letového času byl až po tříměsíčním zpoždění jmenován seržantem dne 1. února 1940. Lehce zraněn 13. června 1940 v Blochu MB.210, byl zklamaný příměří
Poté, co slyšel rozhlasové volání generála de Gaullea, se rozhodl jet do Anglie. Po neúspěšných pokusech odletěl do Alžíru z Saint-Laurent-de-la-Salanque v Potez. Po připojení k svobodné francouzské armádě a službě na Bristol Blenheims byl povýšen na poručíka. Vrátil se do Anglie, aby trénoval na Bostonské III. Dne 25. ledna 1944 byl jeho pilot oslepen, i když jen dočasně, a Gary ho přemluvil k cíli bombardování a zpět domů, třetí přistání bylo úspěšné. Tento a následný rozhovor BBC a článek v novinách Evening Standard byly důležitou součástí jeho kariéry. Válku ukončil jako kapitán v londýnských úřadech Svobodných francouzských vzdušných sil. Jako bombardér-pozorovatel v "Groupe de bombardement Lorraine" (č. 342 Squadron RAF), se zúčastnil více než 25 úspěšných výsadek, zaznamenal více než 65 hodin vzdušného času. Během této doby si změnil jméno na Romain Gary. Byl vyznamenán za statečnost ve válce, získal mnoho medailí a vyznamenání, včetně Compagnon de la Libération a velitele Légion d'honneur. V roce 1945 vydal svůj první román "Education européenne". Bezprostředně po vojenské službě pracoval ve francouzské diplomatické službě v Bulharsku a Švýcarsku. V roce 1952 se stal tajemníkem francouzské delegace při OSN. V roce 1956 se stal generálním konzulem v Los Angeles a seznámil se s Hollywoodem.