Not having any political power and repeatedly being forced out of the capital of Kyoto, Yoshiharu retired in 1546 over a political struggle between Miyoshi Nagayoshi and Hosokawa Harumoto making his son Ashikaga Yoshiteru the thirteenth shogun.
Ohne jede politische Macht und wiederholt zum Verlassen der Hauptstadt Kyōto gezwungen, zog sich Yoshiharu schließlich 1546 wegen eines politischen Streites zwischen Miyoshi Nagayoshi und Hosokawa Harumoto zurück und machte seinen Sohn Ashikaga Yoshiteru zum 13. Shōgun.