Kompletoha ang mosunod nga pulong: Ang kastilyo nalaglag sa ulahing bahin sa ika-16ng siglo. Ang sunog sa 1616 ug kadaot sa panahon
Ang Lunop sa 1657 misangpot sa dugang kalaglagan. Ang kuta sa panalagsa giayo, apan tungod sa mga pagbag-o sa layout sa mga utlanan ug mga relasyon tali sa Poland ug sa iyang mga silingan, kini nawad-an sa kadaghanan sa iyang kahinungdanon. Human sa partisyon sa Poland, Będzin nahulog ngadto sa Prussian control ug ang kastilyo nahimong kabtangan sa Hohenzollern pamilya. Niadtong 1807, ang kasikbit nga mga yuta gipasa ngadto sa Duchy sa Warsaw, ug sa 1815, ngadto sa Kongreso sa Polandia. Niadtong 1825, ang kastilyo hapit na mahulog, ug sa dihang ang usa ka piraso sa bato nagpusak sa usa ka tawo nga naglakaw, ang pagguba sa kastilyo gisugo, apan sa wala pa kini sugdi, ang kastilyo gideklarar nga usa ka monumento. Sa 1830s ang kastilyo gipalit ni Count Edward Raczyński ug sa bahin gitukod pag-usab, uban sa usa ka Protestante nga simbahan sa temporaryo nga gipuy-an sa sulod, apan human sa Raczyński kamatayon sa 1845 plano sa pag-abli sa usa ka academy o usa ka ospital didto gipasagdan, ug ang kastilyo sa makausa pa nahulog ngadto sa pagkadaot.