Pada Olimpiade Musim Panas 2004 di Athena, Panic kembali lolos untuk 100 m gaya bebas pria
dengan melampaui waktu masuk standar FINA B dari 52,12 dari Kejuaraan Terbuka Kroasia di Zagreb. Dia menantang tujuh perenang lainnya di babak kedua, termasuk sesama veteran Olimpiade Alexandr Agafanov dari Uzbekistan dan Camilo Becerra dari Kolombia. Panic berlomba ke posisi ketiga dengan 0,18 detik di belakang Becerra, di luar waktu masuknya 52,75. Panic gagal maju ke semifinal, karena ia menempati posisi kelima puluh lima secara keseluruhan di babak awal.