Lee két úszóversenyre jogosult a 2004-es Athéni Nyári Olimpiai Játékokon, a FINA B-szabványos belépési időjét 22,95 (50 m szabadúszás) és 51,84 (100 m szabadúszás) az Dong-A úszóversenyen Szöulban. A 100 méteres szabad stílusban
Lee hét úszóval küzdött a harmadik versenyen, köztük az olimpiai veterán, a fidzsi Carl Probert. Második és negyvenötödik helyét a panamai Ismael Ortiz-szel osztotta meg 51.74 alatt. Második versenyében, a 50 méter szabad stílusban, Lee 35. lett a reggeli előversenyben. A hetedik versenyen negyedik lett, 0,15 másodperccel a szerb és montenegrói Milorad Čavić mögött 23.05-ben.