Í næstu árum varð húsið óviðunandi fyrir höllina. Þess vegna reisti höllarkitekt Sigismundar I gamla, Benedykt Sandomierski, nýtt heimili sem var fullbúið árið 1519. Nýja íbúðin var byggð í renesansstíli í formi íbúðatúrns á torgi sem mældi 18 × 20 m (19.68 × 21.87 yd). Á hæð hússins var ríklega skreytt loft. Á 16. öld var kastalinn vettvangur tíðra svæðisráða og synód. Á flóðsins tíma
Hún var brennd af sænsku-brandenburskum herliđum. Endurbyggingin átti sér stað á árunum 1668-1671 undir stjórn Michał Warszycki, sverð-bearer krúnunnar. Varnirnar voru ekki endurreistar eins vel og niðurbrotin háloft og allt byggingarsvæðið var krýnt með paviljónþaki.