Budowa zamku została pozostawiona Baldwinowi FitzGilbertowi, który został mianowany zamkiem, wśród innych zaszczytów. Pomiędzy północno-zachodnią i północno-wschodnią ścianą miasta zbudowano głęboki rów i wewnętrzne mury, tworząc w przybliżeniu kwadratowe ogrodzenie o bokach około. W "Domesday Book" z 1086 r. odnotowano, że od przybycia króla do Anglii w Exeter zniszczono 48 domów. Historycy interpretowali to jako to, że tyle domów znajdowało się na terenie wyczyszczonym dla zamku. Na południowej stronie ogrodzenia zbudowano duży kamienny bramnik, który do dziś zachował się. Ma wyraźne elementy architektury anglosaskiej.
, takie jak długie i krótkie quoiny i podwójne trójkątne okna, sugerujące, że został zbudowany bardzo wcześnie przez angielskich murarzy na polecenie Normanów. Na tym wczesnym etapie bastion prawdopodobnie został pokonany przez palisadę, chociaż wkrótce zbudowano dwie narożne wieże, gdzie brzeg stykał się ze ścianami miasta, z których zachodnia (pomyłkowo znana jako "wieża Athelstana") jest nadal obecna.