Allen va dimitir el 2 de maig de 1953 i Jack Butler, un ex jugador de l'Arsenal, va ser nomenat el seu substitut. Butler havia estat entrenador a Bèlgica i havia estat al capdavant de l'equip nacional belga entre 1935 i 1940, conduint-los a la Copa del Món de la FIFA de 1938
Finals. Va dimitir el gener de 1955 i la junta va triar a Benny Fenton per ser jugador-manager. Va passar vuit anys amb el club, patint el descens per primera vegada en la història del club el 1961, només per tornar a la Tercera Divisió al primer intent. Fenton va marxar per prendre el control d'Orient el novembre de 1963.