A familia Güssen volveuse demasiado pobre para manter o castelo, e en 1613 vendeu toda a aldea e o castelo ao Ducado de Württemberg. En 1617 o duque Julio Federico de Württemberg tomou as aldeas de Brenz e Weiltingen baixo o seu control, fundando a liña xuvenil de Württemberg de Württemberg-Weiltingen. Schloss Brenz foi usado como un fogar temporal para a súa familia. Con todo, o castelo danado foi destruído en 1634 durante a batalla de Nördlingen
da Guerra dos Trinta Anos. En 1672, o duque Federico Fernando mandou reconstruír o castelo nun estilo renacentista. As fundacións do antigo castelo e algunhas partes das paredes aínda son visibles, pero a maior parte do castelo foi construído novo.