Voltooi de volgende zin: Het kasteel raakte in verval in de late 16e eeuw. De brand van 1616 en de schade tijdens
De Vloed in 1657 leidde tot verdere vernietiging. Het fort werd periodiek gerepareerd, maar door verschuivingen in de indeling van de grenzen en de relaties tussen Polen en zijn buren verloor het veel van zijn belang. Na de verdeling van Polen viel Będzin onder Pruisische controle en werd het kasteel eigendom van de familie Hohenzollern. In 1807 werden de nabijgelegen landen overgedragen aan het Hertogdom Warschau en in 1815 aan het Congres Polen. In 1825 viel het kasteel bijna uit elkaar, en toen een stuk van de steen een voorbijganger verpletterde, werd de sloop van het kasteel bevolen, maar voordat het begon, werd het kasteel tot monument uitgeroepen. In de jaren 1830 werd het kasteel gekocht door graaf Edward Raczyński en gedeeltelijk herbouwd, met een protestantse kerk die tijdelijk binnen was gehuisvest, maar na de dood van Raczyński in 1845 werden plannen om een academie of een ziekenhuis te openen verlaten, en het kasteel raakte opnieuw in verval.