1159-ben, három évvel később, Yoshitomo és Fudzsiwara no Nobuyori házi őrizetbe helyezte Go-Szirakavát, és megölte a szolgáját, a tudós Fujiwara no Michinorit, a Heiji lázadásban. Végül Taira no Kiyomori, Go-Szirakawa támogatásával legyőzte Yoshitomo-t. Miközben megszökött Kiotóból, Yoshitomo kényszerült megölnie fiát, Tomonaga-t. Később Yoshitomo-t elárulták és megölték a fürdőben. Három fia, Yoritomo, Minamoto no Yoshitsune és Minamoto no Noriyori, később megkímélték és száműzték Kiyomori által.
Yoritomo, Minamoto no Yoshitsune és Minamoto no Noriyori