Allen lét af störfum 2. maí 1953 og Jack Butler, fyrrverandi leikmaður Arsenal, var ráðinn í hans stað. Butler hafði verið þjálfari í Belgíu og hafði verið stjórnandi belgíska landsliðsins á árunum 1935 og 1940, og leiddi þá til HM í fótbolta árið 1938.
Lokaúrslit. Hann lét af störfum í janúar 1955 og stjórnin valdi Benny Fenton sem leikmanns-stjóra. Hann eyddi átta árum með félaginu og varð fyrir niðurfellingu í fyrsta sinn í sögu félagsins árið 1961, aðeins til að snúa aftur í þriðju deildina í fyrstu tilraun. Fenton yfirgaf stöđuna í Orient í nóvember 1963.