Z prawie 300 kadetów w jego klasie, i pomimo pomyślnego ukończenia wszystkich części kursu, Gary był jedynym, który nie został oficerem. Uważał, że władze wojskowe nie ufają temu, kogo postrzegają jako obcokrajowców i Żydów. Szkolenie na samolotach Potez 25 i Goëland Léo-20, a po 250 godzinach lotu, dopiero po trzech miesiącach opóźnienia został sierżantem 1 lutego 1940 roku. 13 czerwca 1940 r. został lekko ranny w Bloch MB.210, był rozczarowany zawieszeniem.
Po wysłuchaniu radiowego wezwania generała de Gaulle'a, postanowił udać się do Anglii. Po nieudanych próbach, poleciał do Algieru z Saint-Laurent-de-la-Salanque w Potez. Został adiutantem po dołączeniu do Wolnych Francuzów i służeniu na Bristol Blenheims, widział akcję w całej Afryce i został awansowany na porucznika drugiego. Wrócił do Anglii, aby trenować na Boston IIIIs. 25 stycznia 1944 roku jego pilot został oślepiony, chociaż tymczasowo, a Gary namówił go do celu bombardowania i powrotu do domu, a trzecie lądowanie zakończyło się sukcesem. Ten i kolejny wywiad z BBC oraz artykuł w gazecie Evening Standard były ważną częścią jego kariery. Skończył wojnę jako kapitan w londyńskich biurach Wolnych Sił Powietrznych Francji. Jako obserwator-bombardier w "Groupe de bombardement Lorraine" (No. 342 Squadron RAF), brał udział w ponad 25 udanych wyprawach, rejestrując ponad 65 godzin czasu w powietrzu. W tym czasie zmienił nazwisko na Romain Gary. Został odznaczony za odwagę w czasie wojny, otrzymując wiele medali i wyróżnień, w tym Compagnon de la Libération i dowódcę Legionu Honorowego. W 1945 roku opublikował swoją pierwszą powieść "Education européenne". Zaraz po wojnie pracował w francuskiej służbie dyplomatycznej w Bułgarii i Szwajcarii. W 1952 roku został sekretarzem francuskiej delegacji przy ONZ. W 1956 roku został konsulem generalnym w Los Angeles i zapoznał się z Hollywood.