Lee lolos untuk dua acara renang di Olimpiade Musim Panas 2004 di Athena, dengan melampaui waktu masuk standar FINA B sebesar 22,95 (50 m gaya bebas) dan 51,84 (100 m gaya bebas) dari Turnamen Renang Dong-A di Seoul. Dalam 100 m gaya bebas
, Lee menantang tujuh perenang lainnya di heat ketiga, termasuk veteran Olimpiade Carl Probert dari Fiji. Dia berbagi unggulan kedua dan empat puluh lima tempat dasi dengan Ismael Ortiz dari Panama di 51.74. Dalam acara keduanya, 50 m gaya bebas, Lee menempati posisi ke-35 secara keseluruhan pada babak awal pagi. Berenang di heat tujuh, ia mengambil tempat keempat dengan 0,15 detik di belakang Serbia dan Montenegro Milorad Čavić di 23.05.