Pas ing taun 1510 Kastil Zuylen wiwit dibangun manèh déning priyayi Willem van Rennenberg . Ora let suwé saisé dibukak, mula diakoni minangka "ridderhofstad". Keturunané, kalebu George van Lalaing, lan kulawarga Egmond ndarbèni kastil iki nganti taun 1611 didol karo juru dagang Amsterdam, Jasper Quinget. Wong sakutha Adam van Lockhorst dadi sing ndarbèni nem taun sabanjuré. Kira-kira taun 1620 Laksamana Steven van der Hagen dadi sing manggoni kastil iki. Pungkasané kastil iku dadi darbèné kulawarga Van Tuyll van Serooskerken.