Voltooi de volgende zin: De bouw van het kasteel werd overgelaten aan Baldwin FitzGilbert die onder andere tot castellan werd benoemd. Tussen de noordwestelijke en noordoostelijke stadsmuren werd een diepe greppel en een binnenmuur gebouwd, die een ruwweg vierkante omheining vormden met zijden van ongeveer. Het Domesday Book van 1086 meldde dat 48 huizen in Exeter waren verwoest sinds de koning naar Engeland kwam. Dit is door historici geïnterpreteerd als het feit dat zoveel huizen zich bevonden op de plaats die was vrijgemaakt voor het kasteel. Aan de zuidkant van de omheining werd een groot stenen poortgebouw in de oever gebouwd, dat nog steeds bestaat. Het heeft duidelijke elementen van
Angelsaksische architectuur, zoals lange en korte quins en dubbele driehoekige ramen, suggereert dat het zeer vroeg door Engelse metselaars op bevel van de Normandiërs is gebouwd. In dit vroege stadium werd de vesting waarschijnlijk overwonnen door een palissade, hoewel er al snel twee hoektorens werden gebouwd waar de bank de stadsmuren ontmoette, waarvan de westelijke (verkeerd bekend als "Athelstan's Tower") nog steeds aanwezig is.