W kolejnych latach budynek stał się nieodpowiedni do celów dworu królewskiego. Dlatego architekt dworu króla Zygmunta I Starego, Benedykt Sandomierski, wybudował nową rezydencję, która została ukończona w 1519 roku. Nowa rezydencja została zbudowana w stylu renesansowym w kształcie wieży mieszkalnej na kwadratu o wymiarach 18 × 20 m (19,68 × 21,87 yd). Na szczycie budynku znajdował się bogato zdobiony strych. W XVI wieku zamek był miejscem częstych regionalnych rad i synodów. Podczas potopu
Została spalona przez szwedzko-brandenburskie oddziały. Odbudowa odbyła się w latach 1668-1671 pod nadzorem Michała Warszyckiego, mieczodręta Korony. Fortyfikacje nie zostały odrestaurowane tak dobrze jak zburzony strych, a cała konstrukcja została ukoronowana dachem pawilonowym.