Ljúka eftirfarandi setningu: Byggingarverkefni kastalans var skilið eftir Baldwin FitzGilbert sem var skipaður kastalans meðal annarra heiðra. Djúp skurður og innri múr voru byggð á milli norðvestur- og norðaustur-borgarmúranna og myndaði gróflega ferkantaða umbyggingu með hliðum um. "Domesday Book" frá 1086 greindi frá því að 48 hús hefðu verið eyðilögð í Exeter frá því að konungur kom til Englands - þetta hefur verið túlkað af sagnfræðingum að þýða að þessi fjöldi húsa hafi verið á staðnum hreinsað fyrir kastala. Stórt steinhús, sem enn er til staðar, var byggt inn í banka á suðurhlið girðingarinnar. Það hefur skýrar þættir
Anglo-Saxon arkitektúr, svo sem langur og stuttur quoins og tvöfaldur þríhyrningur-höfuð gluggar, sem gefur til kynna að það var byggt mjög snemma af enskum steingerðarmönnum á skipunum Normanna. Á þessu snemma stigi var líklega yfir völlnum stokk, þó að tveir hornturnir voru fljótlega byggðir þar sem bankinn mætti borgarmúrunum, en vesturturnurinn (sem er ranglega þekktur sem "Athelstan's Tower") er ennþá til staðar.