Pam gimė 1973 metais vietname, kuris tada buvo Pietų Vietnamas. Jo tėvas buvo Pietų Vietnamo armijos inžinierius. 1975 m. balandžio 19 d. Phamas su šeima emigravo į Jungtines Valstijas likus kelioms dienoms iki
Saigono kritimas, jo tėvas buvo paliktas evakuojant. Joms padėjo šeimos draugas, ambasadorius Johnas "Jerry" Edwardsas, kuris parašė laišką, kuriame rašoma, kad Famo tėvas buvo jo švagras ir kapitonas, nors tai buvo melaginga. Jie apsigyveno Fort Chaffee manevrų mokymo centre, po trijų mėnesių vėl susitiko su tėvu ir su Commonwealth Catholic Charities pagalba persikėlė į Henrico apygardą, Virdžinijoje. Jis ir jo šeima gyveno apartamente prie Parhamo kelio, kur jiems buvo sunku išmokti anglų kalbos. Abu jo tėvai dirbo minimalaus darbo užmokesčio darbe ir pabrėžė, kad Phamas ir jo broliai ir seserys turėtų mokytis ir sunkiai dirbti. 1985 m., praėjus 10 metų Amerikoje, jis tapo Jungtinių Valstijų piliečiu ir 1991 m. baigė Meadowbrook vidurinę mokyklą. Pham 1995 m. baigė Viljamo ir Marijos teisės mokyklą, o 1999 m. baigė Ričmondo universiteto teisės mokyklą. Vėliau jis tarnavo Henrico apygardos apygardos teismo sekretoriumi, o vėliau tapo Richmondo sąjunga prokuratūros prokuroru.