En febreiro de 2005, o ministro de Defensa Shaul Mofaz decidiu non prorrogar o servizo de Ya'alon como xefe de gabinete por outro ano. Isto marcou o clímax das tensións entre Mofaz e Ya'alon, que xurdiron en parte pola oposición de Ya'alon ao plan de retirada de Gaza.
- Non. O 1 de xuño de 2005, Ya'alon retirouse do exército, e Dan Halutz, o seu sucesor como xefe de gabinete, supervisou a retirada.