Trei ani mai târziu, în 1159, Yoshitomo și Fujiwara no Nobuyori l-au pus pe Go-Shirakawa în arest la domiciliu și l-au ucis pe slujitorul său, savantul Fujiwara no Michinori, în ceea ce se numește Rebeliunea Heiji. În cele din urmă, Taira no Kiyomori, în sprijinul lui Go-Shirakawa, l-a învins pe Yoshitomo. În timp ce scăpa din Kyoto, Yoshitomo a fost forțat să-și ucidă fiul Tomonaga. Mai târziu, Yoshitomo a fost trădat și ucis în baia sa. Trei dintre fiii săi, Yoritomo, Minamoto no Yoshitsune și Minamoto no Noriyori, au fost ulterior cruțați și exilați de Kiyomori. Cu toate acestea, Aichihira Yoshi și Nobuyori au fost executați. Mormântul său din Prefectura Aichi este înconjurat pe toate părțile de spade de lemn (bokuto), așa cum ultimele sale cuvinte "Dacă aș fi avut doar o legend
săbii de lemn