Kastil punika dipunyasa nalika taun 1066 dados péranganing "Penaklukan Normandia" wonten Inggris. Menara punika kalebet péranganing sajarah panaklukan tiyang Normandia, satunggaling wewengkon ing Perancis sisih lor ingkang winatesan kaliyan Selat Inggris. Nalika Duke William saking Normandia nyerang Inggris nalika taun 1066, aksi pisanan sasampunipun ndarat punika yasa kastil utawi menara. sasampunipun penobatanipun ing Westminster Abbey ing dinten natal 1066, Duke William lajeng paring perintah damel astana ing London .