Vuonna 1940 hän sai komennon 2. panssaroidusta kurassierirykmentistä. Hänen rykmenttinsä yritti estää Saksan blitzkriegin Belgiassa, mutta kuten monet muutkin ranskalaiset yksiköt, se joutui perääntymään. Kun Ranska joutui natsien käsiin, Touzet du Vigier, joka nyt palveli marsalkka Petainin Vichyn hallintoa, valittiin Versaillesissa sijaitsevan armeijan päämajan ratsuväkiosaston päälliköksi. Touzet du Vigier kuitenkin salaa teki yhteistyötä ranskalaisen vastarintaliikkeen kanssa. Hänen ylemmänsä, jotka eivät välittäneet hänen maanalaisesta toiminnastaan, lähettivät hänet Mascaraan Tunisiassa, jossa hän otti alaosaston johdon. Liittoutuneet hyökkäsivät Afrikkaan
Touzet du Vigier vaihtoi puolia De Gaullen vapaille ranskalaisille.