Yagyu klanni maad olid Nara läheduses strateegiliselt olulises piirkonnas ning sellisena oli Yagyu Muneyoshi oluline liitlane igaühele, kes  soovis Nara piirkonda läbida või kontrollida Kyotot. 1577. aastal sai Yagyu Oda Nobunaga vägede käest lüüa ning taandus aktiivsest poliitikast.