這座城堡的建造由巴爾德溫·菲茨吉爾伯特 (Baldwin FitzGilbert) 承擔, 城牆的西北與東北之間建造了一條深<unk>和內圍牆, 1086年的"大法庭日記"指出, 自從国王來到英格蘭以來, 埃克塞特已有48間房屋被摧毀. 這座城堡的南面是一個巨大的石門, 這座建築有明顯的<unk>格爾薩克斯建築元素,
建成於英國石匠在諾曼人的命令下很早. 這座城堡的頂部很可能是圍<unk>, 儘管兩座角塔很快就建在岸邊與城牆相遇的地方, 其中西面的一座 (誤稱為"Athelstan's Tower") 仍然存在.