Het werd gebouwd voor bisschop Jakub Zadzik in 1622 en herbouwd in 1668 door bisschop Andrzej Trzebicki na zijn vernietiging in de Zweedse Oorlogen
Ik weet het. Tegen het midden van de 18e eeuw was het in slechte staat en werd het tussen 1760 en 1762 door bisschop Kajetan Sołtyk uitgebreid herbouwd in de late barokstijl, waardoor het het twee verdiepingen tellende uiterlijk kreeg dat te zien is op het schilderij "Miodowa Street" uit 1777. Het huisvestte kantoren vanaf het einde van de 18e eeuw en na de derde verdeling van Polen in 1795 huisvestte het de president van Zuid-Pruisen. Het werd na 1828 herbouwd en in 1910 gedeeltelijk ontmanteld.