Le syntyi vuonna 1968 Ha Tienissa, vietnamilaisessa kaupungissa lähellä Kambodžan rajaa. Kambodžan ja Vietnamin sota
1970-luvulla punaiset khmerit tulivat alueelle. Kun hän oli kymmenvuotias, vuonna 1978, hänen perheensä pakeni. Kun matka alkoi, Lêlle seurasi kuusi sisarustaan ja hänen äitinsä. Kuitenkin vaikka kymmenvuotias Lê pääsi turvallisesti veneeseen äitinsä kanssa, muut hänen sisaruksistaan eivät olleet yhtä onnekkaita. Erään näyttelynsä luettelossa julkaistussa haastattelussa hän muisti pakenemisen tarinan. Se oli " epätoivoinen vapauden tavoittelu", ja hän sanoi, ettei hän " koskaan unohtaisi äitinsä ilmeitä, kun hän etsi rannalta merkkejä vanhimmista pojistaan ja tyttärestään". Vietettyään lyhyen ajan Thaimaassa perhe muutti lopulta valtameren toiselle puolelle ja asettui Los Angelesiin.