Koga lahir di Kitashigeyasu, Saga, Jepang. Dia mulai judo di sekolah dasar. Dia melakukan perjalanan ke Tokyo selama sekolah menengah untuk memasuki Kodogakusha, sebuah sekolah judo yang kemudian dihadiri oleh peraih medali emas Olimpiade Hidehiko Yoshida dan Makoto Takimoto. Dia melanjutkan pendidikannya di Nippon Sport Science University, dan meraih beberapa penghargaan termasuk lima kejuaraan berturut-turut di Piala Kodokan dan enam kejuaraan berturut-turut di All-Japan Judo Championships (semua di divisi 71 kg). Dia menempati posisi ketiga di Kejuaraan Dunia Judo 1987 yang diadakan di Essen, dan terpilih untuk berpartisipasi dalam Olimpiade Musim Panas 1988, di mana ia kalah di babak ketiga kompetisi. Koga kembali ke Olimpiade pada tahun 1992 setelah memenangkan 1989
dan Kejuaraan Dunia Judo 1991, tetapi cedera serius lutut kirinya selama sesi randori (sparing) melawan Hidehiko Yoshida, yang menghalangi dia menggunakan teknik terbaiknya; Ippon Seoinage. Dia memenangkan medali emas mengatasi cedera ini, dan diberikan Penghargaan Olahraga JOC oleh Komite Olimpiade Jepang.