La kastelo estis unue menciita en atestilo de la 2-a de novembro 1269 dokumentanta prunton de Vranke Stozep van Hildegardsberg. Poste en 1343, Heer Kerstant van den Berge posedis la preĝejon kaj la kastelon. Tamen, en 1426, kaj preĝejo kaj kastelo estis detruitaj fare de la armeoj de Jacoba de Bavario, dum la Hoekse kaj Kabeljauwse
kvereloj. Restoj de la kastelo-karcero ankoraŭ povas esti trovitaj apud la Hillegondakerk en angulo de la tombejo, kiu datiĝas de ĉirkaŭ 1500 en sia nuna formo. La strukturo estis nomumita nacia monumento en septembro 1973.