Nascut en una antiga família de "samurais" de Kokura (ara part de la ciutat de Kitakyushu), Prefectura de Fukuoka, Sugiyama es va graduar de la 12a classe de l'Acadèmia de l'Exèrcit Imperial Japonès el 1901. Va servir com a oficial subalterni al 3r Batalló del 14è Regiment de la 12a Divisió de la IJA a la Guerra Russo-Japonesa, i va ser ferit a la cara durant la Batalla de Shaho.
- No. A causa de les cicatrius d'aquesta lesió, no va poder obrir completament el seu ull dret.