Skriva framhald fyrir þessa málsgrein - Bygging kastalans var látin eftir Baldwin FitzGilbert sem var skipaður castellan, meðal annarra heiðra. Djúp skurður og innri múr voru byggð á milli norðvestur- og norðaustur-borgarmúranna og myndaði gróflega ferkantaða umbyggingu með hliðum um. "Domesday Book" frá 1086 greindi frá því að 48 hús hefðu verið eyðilögð í Exeter frá því að konungur kom til Englands - þetta hefur verið túlkað af sagnfræðingum að þýða að þessi fjöldi húsa hafi verið á staðnum hreinsað fyrir kastala. Stórt steinhús, sem enn er til staðar, var byggt inn í banka á suðurhlið girðingarinnar. Það hefur skýr atriði af Anglo-Saxon arkitektúr
, eins og langir og stuttir quoins og tvöfaldir þríhyrndir gluggar, sem benda til þess að það hafi verið byggt mjög snemma af enskum steingerðarmönnum á fyrirmælum Normanna. Á þessu snemma stigi var líklega yfir völlnum stokk, þó að tveir hornturnir voru fljótlega byggðir þar sem bankinn mætti borgarmúrunum, en vesturturnurinn (sem er ranglega þekktur sem "Athelstan's Tower") er ennþá til staðar.