城は16世紀後半に廃墟となった. 1616年の火災と
1657 年 の 洪水 は さらに 破壊 を もたらし まし た. 城は定期的に修復されたが,国境の配置やポーランドと隣国の関係が変化したため,その重要性が大きく失われました. ポーランドが分割された後,ベンジンはプロイセンに支配され,城はホーヘンゾラーン家の所有物となった. 1807年,近くの土地はワルシャワ公国,そして1815年,議会ポーランドに移された. 1825年,城は事実上崩壊し,石の一部が通りすがりを潰したため,城の取り壊しが命じられたが,開始する前に,城は記念碑として宣言された. 1830年代,城はエドワード・ラツィンスキー伯爵によって購入され,一部再建され,プロテスタント教会が一時的に内部に収容されたが,1845年にラツィンスキー伯爵の死後,アカデミーや病院を開設する計画は放棄され,城は再び廃墟となった.