Ang pamilya Güssen nahimong kabos kaayo sa pag-atiman sa kastilyo, ug sa 1613 gibaligya ang tibuok baryo ug kastilyo ngadto sa Duchy sa Württemberg. Sa 1617 Duke Julius Friedrich von Württemberg gikuha sa mga balangay sa Brenz ug Weiltingen ilalom sa iyang kontrol, nagtukod sa junior Württemberg linya sa Württemberg-Weiltingen. Ang Schloss Brenz gigamit ingong temporaryong puy-anan sa iyang pamilya. Bisan pa niana, ang nadaot nga kastilyo nalaglag sa 1634 panahon sa Gubat sa Nördlingen
sa Tulo ka Tuig nga Gubat. Sa 1672 si Duke Friedrich Ferdinand nagtukod pag-usab sa kastilyo diha sa estilo sa Renaissance. Ang pundasyon sa karaang kastilyo ug ang pipila ka bahin sa mga paril makita gihapon, apan ang kadaghanan sa kastilyo bag-o nga gitukod.