Escribe unha continuación para este parágrafo - O castelo caeu en deterioro a finais do século XVI. O incendio de 1616 e os danos durante o diluvio
en 1657 resultou na destrución adicional. A fortaleza foi reparada periódicamente, pero debido aos cambios no trazado das fronteiras e as relacións entre Polonia e os seus veciños, perdeu gran parte da súa importancia. Despois das particións de Polonia, Będzin caeu baixo control prusiano e o castelo converteuse en propiedade da familia Hohenzollern. En 1807, as terras próximas foron transferidas ao Ducado de Varsovia, e en 1815, ao Congreso de Polonia. En 1825 o castelo estaba prácticamente en ruínas, e cando un anaco da pedra esmagou a un transeúnte, ordenou a demolición do castelo, pero antes de comezar, o castelo foi declarado monumento. Na década de 1830 o castelo foi comprado polo conde Edward Raczyński e parcialmente reconstruído, cunha igrexa protestante temporalmente aloxada no interior, pero despois da morte de Raczyński en 1845 os plans para abrir unha academia ou un hospital foron abandonados, e o castelo volveu caer en deterioro.