În cele din urmă, Taira no Kiyomori, în sprijinul lui Go-Shirakawa, l-a învins pe Yoshitomo. În timp ce fugea din Kyoto, Yoshitomo a fost forțat să-și ucidă fiul Tomonaga. Mai târziu, Yoshitomo a fost trădat și ucis în baia sa. Trei dintre fiii săi, Yoritomo, Minamoto no Yoshitsune și Minamoto no Noriyori, au fost ulterior cruțați și exilați de Kiyomori. Cu toate acestea, Yoshihira și Nobuyori au fost executați. Mormântul său din Prefectura Aichi este înconjurat pe toate părțile de săbii de lemn (bokuto), așa cum sunt ultimele sale cuvinte "Dacă aș fi avut doar o legendă...
Yoritomo, Minamoto no Yoshitsune și Minamoto no Noriyori