Le gimė 1968 m. Hà Tiên vietnamiečių mieste netoli Kambodžos sienos. Kambodžos ir Vietnamo karas
1970 m. atvedė Raudonųjų khmerų karius į regioną. Kai jam buvo dešimt, 1978-aisiais, jo šeima pabėgo. Kelionę pradėjo šeši broliai ir seserys bei motina. Tačiau, nors dešimtmetis Le saugiai įplaukė į laivą kartu su mama, kitiems jo broliams ir seserims ne taip pasisekė. Interviu, kuris buvo paskelbtas vienoje jo parodų kataloge, jis prisiminė pabėgimo istoriją. Tai buvo "beviltiškas pabėgimas į laisvę", ir jis sakė, kad "niekada neužmirš savo motinos veido išraiškos, kai ji ištyrė paplūdimį... ieškodama savo vyresniojo sūnaus ir dukters ženklų". Po trumpos buvimo Tailande, šeima galiausiai persikėlė į kitą vandenyno pusę ir apsigyveno Los Andžele.