(5,500石)の三男として生まれたとされるが、系図によれば兼善の四男である。母は島津久貫(又左衛門)の娘である。父母は次兄・要之介を寵愛しており、乳母も短慮な性格であったため、両親の愛情に恵まれず育ったという。下で儒学を修めるが、体質的に虚弱であったことと昼夜を問わない勉学が災いして17歳を数える頃から病に伏せがちの生活を送るようになった。勉学に対する向上心は衰えることなく、湯治に出向いた先でも地域や身分の異なる様々な人々から知識や考えを吸収していったという。