En 1159, Yoshitomo e Fujiwara no Nobuyori puxeron a Go-Shirakawa en arresto domiciliario e mataron ao seu servidor, o erudito Fujiwara no Michinori, na chamada rebelión Heiji. Finalmente, Taira no Kiyomori, en apoio a Go-Shirakawa, derrotou a Yoshitomo. Mentres escapaba de Kioto, Yoshitomo foi forzado a matar ao seu fillo Tomonaga. Posteriormente, Yoshitomo foi traído e asasinado no seu baño. Tres dos seus fillos, Yoritomo, Minamoto no Yoshitsune e Minamoto no Noriyori, foron máis tarde poupados e exiliados por Kiyomori. Con todo, Yoshihira e Nobuyori foron executados. A súa tumba na Prefectura de Aichi está rodeada por todos os lados por espadas de madeira (bokuto), como as súas últimas palabras "Se eu tivese só unha lenda... ¿Cal é o nome dos tres fillos de Taira?"
Yoritomo, Minamoto no Yoshitsune e Minamoto no Noriyori