في سنة ١٣١٤، كانت قصر غيلارد سجن مارجريت وبلانش من بورغندي، واللي كلاهما أصبحوا ملكات فرنسا في وقت لاحق؛ اتهموا بالزنا في قضية "تور دي نيسل"، وبعد أن حلقوا رؤوسهم، تم حبسهم في القلعة، حيث بقوا حتى خلال فترات حكمهم. بعد الهزيمة الاسكتلندية في معركة هاليدون هيل في 1333 خلال حرب الاستقلال الاسكتلندية الثانية
، الولد الملك ديفيد الثاني وبعض من محكمه اضطروا ليهربوا إلى فرنسا من أجل الأمان. في الوقت ده، كانت جنوب اسكتلندا تحت سيطرة قوات الملك إدوارد الثالث من إنجلترا. ديفيد ، الذي كان عمره تسع سنوات آنذاك ، وعروسته جوان من البرج ، ابنة إدوارد الثاني البالغة من العمر اثني عشر عامًا ، حصلوا على استخدام تشاتو جايلارد من قبل فيليب السادس. بقت مسكنهم حتى عودة ديفيد إلى اسكتلندا في عام 1341. لم يبق ديفيد بعيدًا عن أيدي الإنجليز لفترة طويلة بعد عودته ؛ تم القبض عليه بعد معركة صليب نيفيل في عام 1346 وتحمل حبسًا لمدة أحد عشر عامًا في برج لندن.