Kuandika mwendelezo kwa aya hii - Lee alihitimu kwa matukio mawili ya kuogelea katika Olimpiki ya Majira ya joto ya 2004 huko Athens, kwa kufuta nyakati za kuingia kwa kiwango cha FINA B cha 22.95 (50 m freestyle) na 51.84 (100 m freestyle) kutoka Mashindano ya Kuogelea ya Dong-A huko Seoul. Katika mbio za mita 100 za uhuru
, Lee alishindana na waogeleaji wengine saba kwenye joto la tatu, pamoja na mkongwe wa Olimpiki Carl Probert wa Fiji. Alishiriki nafasi ya pili na nafasi ya arobaini na tano na Ismael Ortiz wa Panama katika 51.74. Katika tukio lake la pili, 50 m freestyle, Lee aliweka jumla ya 35 kwenye maandalizi ya asubuhi. Kuogelea katika joto saba, alichukua nafasi ya nne kwa 0.15 ya pili nyuma ya Serbia na Montenegro Milorad Čavić katika 23.05.