Tačiau tuo metu Kurlandijos kunigaikštystė išliko Švedijos ir Lenkijos-Lietuvos bendrijos susidomėjimo objektu. 1655 m. Švedijos kariuomenė įžengė į kunigaikštystės teritoriją ir pradėjo Švedijos-Lenkijos karą.
(1655 <unk> 60). Švedijos armija suėmė kunigaikštį Jakobą (1658 - 1660). Per šį laikotarpį olandai užėmė abi Kurlandijos kolonijas, kurioms trūko tiekimo ir darbo jėgos, o prekybinis laivynas ir gamyklos buvo sunaikinti. Šis karas baigėsi Olivos taikos sutartimi (1660 m.). Kurlandija, remdamasi sutartimi, atgavo Tobagą ir laikė ją iki 1689 metų. Kunigaikštis Jokūbas pradėjo atstatyti laivyną ir gamyklas, tačiau Kurlandijos kunigaikštystė niekada nepasiekė savo prieškarinio klestėjimo lygio.