Koga syntyi Kitashigeyassussa, Saga, Japanissa. Hän aloitti judon alakoulussa. Hän matkusti Tokioon lukion aikana Kodogakushalle, judo-kouluun, johon myöhemmin osallistuivat olympiakultaa voittaneet Hidehiko Yoshida ja Makoto Takimoto. Hän jatkoi koulutustaan Nipponin urheilutieteellisessä yliopistossa ja voitti useita palkintoja, mukaan lukien viisi peräkkäistä mestaruutta Kodokan Cupissa ja kuusi peräkkäistä mestaruutta Japanin judokilpailussa (kaikki 71 kg -ryhmässä). Hän sijoittui kolmanneksi vuonna 1987 Essenissä pidetyssä judon maailmanmestaruuskilpailussa, ja hänet valittiin osallistumaan vuoden 1988 kesäolympialaisiin, jossa hän hävisi kilpailun kolmannessa kierroksessa. Koga palasi olympialaisiin vuonna 1992 voitettuaan vuoden 1989
ja vuoden 1991 Judon maailmanmestaruuskilpailussa, mutta loukkaantui vakavasti vasempaan polveensa randori- (sparointi) -ottelussa Hidehiko Yoshidaa vastaan, mikä esti häntä käyttämästä parasta tekniikkaansa; Ippon Seoinage. Hän voitti tämän loukkaantumisen voittaen kultamitalin ja sai Japanin olympiakomitean JOC-urheilupalkinnon.