En 1159, Yoshitomo e Fujiwara no Nobuyori puxeron a Go-Shirakawa en arresto domiciliario e mataron ao seu servidor, o erudito Fujiwara no Michinori, no que se chama a rebelión Heiji. Finalmente, Taira no Kiyomori, en apoio a Go-Shirakawa, derrotou a Yoshitomo. Mentres escapaba de Kioto, Yoshitomo foi forzado a matar ao seu fillo Tomonaga. Posteriormente, Yoshitomo foi traído e asasinado no seu baño. Tres dos seus fillos, Yoritomo, Minamoto no Yoshitsune e Minamoto no Noriyori, foron máis tarde poupados e exiliados por Kiyomori. Con todo, Yoshihira e Nobuyori foron executados. A súa tumba na Prefectura de Aichi está rodeada por todos os lados por espadas de madeira (bokuto), como as súas últimas palabras "Se eu só tivese unha lenda, bokuto... ¿para que significa?"
espadas de madeira