Kastil ini pertama kali disebutkan dalam sertifikat tanggal 2 November 1269 yang mendokumentasikan pinjaman dari Vranke Stozep van Hildegardsberg. Kemudian pada tahun 1343, Heer Kerstant van den Berge memiliki gereja dan kastil. Namun, pada tahun 1426, baik gereja dan kastil dihancurkan oleh pasukan Jacoba dari Bavaria, selama Hoekse dan Kabeljauwse
pertengkaran. Sisa-sisa ruang bawah tanah kastil masih dapat ditemukan di sebelah Hillegondakerk di sudut pemakaman, yang berasal dari sekitar tahun 1500 dalam bentuknya saat ini. Struktur ini ditetapkan sebagai monumen nasional pada bulan September 1973.