השלים את המשפט הבא: נותרו רק כמה שברי חומות המאה הרביעית; לדוגמה, ניתן לראות את החומה הרומית המקורית בגבול הדרומי של כנסיית הקהילה של פטרוס ופולוס הקדושים. האזור שבו נמצאת המבצר מסווג כיום כאנדרטה עתיקה. הכנסייה של פטרוס ופולוס הקדושים, שנמצאת בתוך המבצר,
מגדל אנגלו-סקסוני. כיכר השוק נמצאת בלב אזור שימור המכיל 56 בניינים, בעיקר מדור השני. במונחים מספריים, מספר הבניינים המפורסמים הופך את קאיסטור לאזור השימור החשוב ביותר באזור מערב לינדסי; רבים מהבניינים הם ג'ורג'יאנים או ויקטוריאנים. מבנים בולטים בעיר כוללים את בית הספר לקאיסטור, שנוסד בשנת 1633, ואת בית הסessions, שנבנה בשנת 1662.