Lee s-a calificat pentru două evenimente de înot la Jocurile Olimpice de Vară din 2004 de la Atena, eclipsând timpii standard de intrare FINA B de 22,95 (50 m freestyle) și 51,84 (100 m freestyle) de la Turneul de înot Dong-A de la Seul. La 100 m stil liber
, Lee a provocat alți șapte înotători în a treia greutate, inclusiv veteranul olimpic Carl Probert din Fiji. El a împărțit o a doua poziție și o poziție de 45 cu Ismael Ortiz din Panama în 51.74. În al doilea eveniment, pe 50 m stil liber, Lee s-a clasat pe locul 35 în general în preliminariile de dimineață. Înotând în a șaptea tură, a obținut locul al patrulea cu 0,15 de secunde în spatele Milorad Čavić din Serbia și Muntenegru în 23.05.