De bouw van het Duitse kasteel in Brodnica begon in de veertiende eeuw en duurde bijna een hele eeuw. In 1466 werd het kasteelcomplex onderdeel van het Koninkrijk Polen. Na een brand in 1550 werd het kasteel herbouwd door de Starosta Rafał Działyński. Tijdens de Zweeds-Poolse Oorlogen
Het kasteel werd een puinhoop. In 1785 beval koning Frederik II van Pruisen de ruïnes te ontmantelen, maar zijn bevelen werden al snel gestopt door Frederik Willem IV. Het lot van het paleis van Anna Wazówna werd verzegeld door een brand in 1945.