Skribu daŭrigon por ĉi tiu paragrafo - La konstruado de la kastelo estis lasita al Baldwin FitzGilbert kiu estis nomumita kastelano, inter aliaj honoroj. Profunda fosaĵo kaj interna remparo estis konstruitaj inter la nordokcidentaj kaj nordorientaj urbaj muroj, formante malglate kvadratan ĉirkaŭbarilon kun flankoj de ĉirkaŭ. La " Domesday Book " de 1086 raportis ke 48 domoj estis detruitaj en Exeter ekde la reĝo venis al Anglio - tio estis interpretita de historiistoj por signifi ke tiu multaj domoj estis sur la ejo malbarita por la kastelo. Granda ŝtona pordejo, kiu ankoraŭ pluvivas, estis konstruita en la bankon sur la suda flanko de la areo. Ĝi havas klarajn elementojn de anglosaksa arkitekturo.
, kiel ekzemple long-kaj-mallongaj quoins kaj duoblaj triangulaj fenestroj, sugestante ke ĝi estis konstruita tre frue fare de anglaj masonistoj laŭ la ordoj de la normandoj. En tiu frua stadio la remparo estis verŝajne superita de palisado, kvankam du angulturetoj baldaŭ estis konstruitaj kie la banko renkontis la urbajn murojn, la okcidenta el kiu (erare konata kiel "Turo de Athelstan") daŭre ĉeestas.