Budovanie hradu bolo ponechané Baldwinovi FitzGilbertovi, ktorý bol vymenovaný za castellana, okrem iných poct. Medzi severozápadnými a severovýchodnými mestskými múrmi bol postavený hlboký priekop a vnútorný hrad, ktorý tvoril zhruba štvorcové obklopenie so stranami asi. "Domesday Book" z roku 1086 uvádza, že od príchodu kráľa do Anglicka bolo v Exeteri zničených 48 domov. Historici to vykladajú tak, že toto množstvo domov bolo na mieste vyčistenom pre hrad. Veľká kamenná brána, ktorá sa dodnes zachovala, bola postavená do brehu na južnej strane hradby. Má jasné prvky anglosaskej architektúry.
, ako sú dlhé a krátke kvóny a dvojité okná s trojuholníkovými hlavami, čo naznačuje, že bol postavený veľmi skoro anglickými murármi na príkaz Normanov. V tomto ranom štádiu bol hrad pravdepodobne prekonaný palácom, hoci dve rohové veže boli čoskoro postavené tam, kde sa banka stretávala so mestskými stenami, z ktorých západná (omylne známa ako "Athelstanova veža") je stále prítomná.