Allen a demisionat pe 2 mai 1953 şi Jack Butler, un fost jucător de la Arsenal, a fost numit în locul lui. Butler a fost antrenor în Belgia și a fost responsabil de echipa națională belgiană între 1935 și 1940, conducându-i la Cupa Mondială FIFA din 1938
Finalele. El a demisionat în ianuarie 1955 și consiliul a ales-o pe Benny Fenton să fie jucător-manager. A petrecut opt ani cu clubul, suferind retrogradarea pentru prima dată în istoria clubului în 1961, doar pentru a reveni în Divizia a treia la prima încercare. Fenton a plecat să preia conducerea la Orient în noiembrie 1963.