Lee es va qualificar per a dues proves de natació als Jocs Olímpics d'estiu de 2004 a Atenes, eclipsant els temps d'entrada estàndard de la FINA B de 22.95 (50 m freestyle) i 51.84 (100 m freestyle) del Torneig de Natació Dong-A a Seül. En els 100 m d'estil lliure
, Lee va desafiar a set altres nedadors a la tercera prova, incloent el veterà olímpic Carl Probert de Fiji. Va compartir el segon títol i el 45è lloc amb el panamenc Ismael Ortiz en 51.74. En el seu segon esdeveniment, 50 m estil lliure, Lee es va col·locar en el 35è lloc general en les preliminares de la matinada. A la setena prova, va aconseguir la quarta posició per 0,15 de segon darrere del serbi i montenegrin Milorad Čavić en 23.05.