A kastélyt először 1269. november 2-i okiratban említik, amely Vranke Stozep van Hildegardsberg kölcsönét dokumentálja. Később, 1343-ban Heer Kerstant van den Berge birtokolta a templomot és a várat. 1426-ban azonban mind a templomot, mind a kastélyt elpusztították a bajor Jacoba hadseregei, a Bajor Birodalom
Hoekse és Kabeljauwse veszekedés. A várbörtön maradványai még mindig megtalálhatók a Hillegondakerk mellett a temető egyik sarkában, amely a jelenlegi formájában 1500 körül származik. A szerkezetet 1973. szeptemberében nemzeti emlékművé nyilvánították.