De familie Güssen werd te arm om het kasteel te onderhouden en verkocht in 1613 het hele dorp en het kasteel aan het Hertogdom Württemberg. In 1617 nam hertog Julius Friedrich von Württemberg de dorpen Brenz en Weiltingen onder zijn controle en richtte de jonge Württemberg-lijn van Württemberg-Weiltingen op. Schloss Brenz werd gebruikt als tijdelijke woning voor zijn familie. Het beschadigde kasteel werd echter in 1634 tijdens de Slag bij Nördlingen vernietigd.
van de Dertigjarige Oorlog. In 1672 liet Hertog Friedrich Ferdinand het kasteel in renaissancestijl herbouwen. De fundering van het oude kasteel en sommige delen van de muren zijn nog steeds zichtbaar, maar het grootste deel van het kasteel is nieuw gebouwd.