La începutul Regatului Terorii, Varlet a fost din nou arestat. A fost eliberat pe 29 octombrie 1793, dar după căderea lui Robespierre a fost arestat din nou și a petrecut aproape un an în închisoare. După eliberare, Varlet s-a stabilit la Pailly, Yonne, s-a căsătorit și a avut trei copii. A devenit bonapartist după 1800 și a trăit o vreme în Nantes. S-a întors la Paris pentru câteva luni în 1830 pentru a participa la Revoluția din iulie
- Da, domnule. În 1836 a părăsit Nantes pentru a locui la Corbeil-Essonnes, unde s-a înecat la 4 octombrie 1837.