Ljúktu eftirfarandi setningu: Kastlinn féll í ógæfu í lok 16. aldar. Eldur 1616 og skemmdir á
Flóðið árið 1657 leiddi til frekari eyðileggingar. Hæstingin var endurreist af og til, en vegna breytinga á skipulagi landamæra og tengslum Póllands við nágranna sína missti hún mikið af mikilvægi sínu. Eftir skiptingar Póllands féll Będzin undir Prússneska stjórn og varð kastalinn eign Hohenzollern-fjölskyldunnar. Árið 1807 voru nærliggjandi lönd flutt til Varsavíar og árið 1815 til Pólverja. Árið 1825 var kastalinn nánast að falla í sundur og þegar stykki af steininum knés á gangandi var fyrirskipað að rífa kastalann, en áður en það var byrjað var kastalinn lýst að minnisvarði. Á áttunda áratugnum var kastalið keypt af Edward Raczyński sýslumanni og endurbyggð að hluta, með mótmælendakirkju tímabundið inni, en eftir dauða Raczyński árið 1845 voru áform um að opna akademíu eða sjúkrahús þar yfirgefin og kastalið aftur féll í ógæfu.