Terlahir dari mantan keluarga "samurai" dari Kokura (sekarang bagian dari Kota Kitakyushu), Prefektur Fukuoka, Sugiyama lulus dari kelas 12 Akademi Angkatan Darat Kekaisaran Jepang pada tahun 1901. Dia bertugas sebagai perwira junior dengan Batalyon ke-3 dari Resimen ke-14 dari Divisi ke-12 IJA dalam Perang Rusia-Jepang, dan terluka di wajah selama Pertempuran Shaho
Aku tahu. Karena bekas luka dari cedera itu, dia tidak dapat membuka sepenuhnya mata kanannya.