השלים את המשפט הבא: משפחת גוסן נעשתה ענייה מכדי לתמוך בטירה, ובשנת 1613 מכרה את כל הכפר ואת הטירה לדוכסות וורטמברג. בשנת 1617 לקח הדוכס יוליוס פרידריך פון וירטמברג את הכפרים ברנץ וווילטינגן תחת שליטתו, וייסד את שושלת וירטמברג הצעירה של וירטמברג-ווילטינגן. ארמון ברנץ שימש כבית זמני למשפחתו. עם זאת, הטירה הפגומה נהרסה בשנת 1634 במהלך
קרב נורדלינגן במלחמת שלושים השנים. בשנת 1672 הדוכס פרידריך פרדיננד נבנה מחדש את הטירה בסגנון הרנסאנס. היסודות של הטירה הישנה וחלקים מהקירות עדיין נראים, אבל רוב הטירה נבנתה חדשה.