כתוב המשך לפרק זה - בניית הטירה הושארה לבולדווין פיצג'ילברט אשר מונה לטירה, בין הכבודים אחרים. נבנה חפיר עמוק וער שער פנימי בין חומות העיר הצפון-מערביות והצפון-מזרחית, ויצרו חצר מרובעת בערך עם צדדים של כ-. "ספר יום הדין" משנת 1086 דיווח כי 48 בתים הושמדו באקסטר מאז שהמלך הגיע לאנגליה. זה הותפר על ידי היסטוריונים כמשמעותו כי כל כך הרבה בתים היו באתר שנקבע עבור הטירה. בית שער גדול מאבן, שעדיין שורד, נבנה לתוך הגדה בצד הדרומי של החצר. יש בו אלמנטים ברורים של ארכיטקטורה אנגלו-סקסונית.
, כגון קווינים ארוכים וקצרים וחלונות משולשים כפולים, המצביעים על כך שהוא נבנה מוקדם מאוד על ידי אבנים אנגלים בהוראת הנורמנים. בשלב המוקדם הזה, כנראה שהחומה הוצגה על ידי ערימה, אם כי שני מגדלי פינה נבנו במהרה במקום שבו פגש הגדה את חומות העיר, אחד המערביים (הידוע בטעות כ"מגדל אתלסטאן") עדיין קיים.