A kastély építése Baldwin FitzGilbertre hárult, akit kastélyosnak neveztek ki, többek között más kitüntetésekkel. Egy mély árok és belső fal épült az észak-nyugati és észak-keleti városfalak között, nagyjából négyzet alakú kerítést alkotva, melynek oldala körülbelül. Az 1086-os Domesday Book szerint Exeterben 48 házat pusztítottak el, mióta a király Angliába érkezett. Ezt a történészek úgy értelmezik, hogy ez a sok ház a kastély építéséhez kiürített területen volt. Egy nagy kő kapuház, amely még mindig fennmaradt, a kerítés déli oldalán a partra épült. Egyértelmű elemek
Az angolszász építészet, mint például a hosszú és rövid quoins és a kettős háromszög alakú ablakok, arra utalnak, hogy nagyon korán építették az angol kőművesek a normanok parancsára. Ebben a korai szakaszban a fal valószínűleg egy palátával volt felsőbbrendű, bár hamarosan két saroktorony épült, ahol a bank találkozott a városfalakkal, amelyek közül a nyugati (tévesen "Athelstan tornya" néven ismert) még mindig jelen van.