Allen erosi 2. toukokuuta 1953 ja hänen tilalleen nimitettiin entinen Arsenalin pelaaja Jack Butler. Butler oli valmentanut Belgiassa ja ollut vastuussa Belgian maajoukkueesta vuosina 1935 ja 1940, johtaen heitä vuoden 1938 FIFA: n maailmanmestaruuskisoihin.
Loppuottelut. Hän erosi tammikuussa 1955 ja hallitus valitsi Benny Fentoniksi pelaaja-ohjaajaksi. Hän vietti kahdeksan vuotta klubilla ja kärsi klubin historiassa ensimmäistä kertaa pudotuksesta vuonna 1961, mutta palasi kolmanteen divisioonaan ensimmäisellä yrityksellä. Fenton lähti ottamaan johdon Orientista marraskuussa 1963.