Sugiyama syntyi entisessä "samuraijaperheessä" Kokurasta (nykyinen osa Kitakyushu-kaupunkia), Fukuokan prefektuurista. Sugiyama valmistui Japanin keisarillisen armeijan akatemian 12. luokasta vuonna 1901. Hän palveli nuorena upseerina IJA:n 12. divisioonan 14. rykmentin 3. pataljoonassa Venäjän ja Japanin sodassa, ja haavoittui kasvoihin Shahon taistelussa.
- Mitä? Hän ei pystynyt avaamaan oikeaa silmäänsä.