母は信長の側室で、信忠、信雄の母でもある生駒吉乃(いこまきつの)。清洲城で生まれたと云われる。諸国を流浪し剣術や軍学を修めたとされる。当初は今川氏への仕官を希望していたが叶わず、天文12年(1543年)に板垣信方の推挙を受けて武田信玄に仕える。外見は片目と足が不自由で風采も悪かったと伝えられる。得意の軍略で信玄に様々な献策をして勝利に導くとともに、武田家中に築城術の手ほどきをした。永禄4年(1561年)の第4次川中島の戦いでは啄木鳥の戦法を考案するが、上杉謙信に裏をかかれて手薄な本隊が奇襲を受けると責任を感じて敵中に突入しそのまま戦死する。今でも、当て推量なことを「山勘」「ヤマカン」と言うが、これは山本勘助を略したものが語源であるとする説もある。