Ing wiwitanipun, astana punika karancang kanggé nglindungi dominasi Norman saking sakiwa-tengené pinggiraning kutha London. Kajawi punika kanggé ngawasi pérangan strategis ingkang wigati ing Kali Thames. Kanthi bertahap struktur yasan banjur dipun-gantos kanthi bètèng watu. Bèntèng punika tahan nalika pangepungan ingkang dangu nalika Perang Baron I ing wiwitan abad kaping 13. Henry III banjur yasa astana ingkang mewah ing dalem kastil nalika abad tengahan. Edward III ugi ngembangaken astana dados langkung megah, ingkang pembanungan kala punika dipunwastani dados "proyek yasan ingkang paling awis ing Abad Tengahan ing Inggris". Nalika ing periode Tudor, Henry VIII lan Elizabeth I ningkataken pangginaan kastil minangka astana resmi karajan lan pusating hiburan diplomatik.