Po dvejų metų, praleistų kaip karo belaisvis Prancūzijoje, Frydrichas Liudvikas pasitraukė į savo valdus, gyveno savarankiškai įvestame tamsybėje iki pat savo mirties. 1806 m. rugpjūčio mėn., prieš pat ketvirtosios koalicijos karo pradžią,
, atidavė kunigaikštystę savo vyriausiam sūnui, nes nenorėjo tapti tarpininkaujamu valdovu pagal Vurtembergo pavaldumą.