Gloucester lést nokkrum dögum eftir að hann var handtekinn fyrir svik árið 1447. Húsið var fallið til krúnunnar áður en það var tekið í notkun einhvern tíma fyrir 1457 af Richard Plantagenet, þriðja hertoga af York, systkinabarn Edvards, fyrrum verndardúki, sem hélt 400 herramönnum og vopnafólki á kastala í leit sinni að kröfu sinni um hásæti; hann var drepinn í Slaginu við Wakefield árið 1460. Þessi valdagrunnur í London gerði það að verkum að sonur Jórks gat hlotið krúnuna sem Edvard IV konungur í stóru salnum í kastalanum á meðan Henrik VI og Margrét frá Anjou voru í herferð í norðurhluta Englands. Edvard gaf móður sinni Cecily Neville kastalann 1. júní 1461, nokkrum vikum fyrir krúnun sína, og hann hýsti fjölskylduna sína þar til öryggis fyrir ákvarðandi
Barnet-baráttunni. Eftir að ungir prinsarnir Edvardur V og bróðir hans Ríkard voru lýstir ólögmætir árið 1483 og fangelsaðir í Tower of London var bróðir Edvards krýndur sem Ríkard III í Baynard's Castle, eins og segir í leikriti Shakespeares "Ríkard III".