Liivi sõjas oli Haapsalu linnus tugevasti kannatada saanud. Jacob De la Gardie pidas esmaseks ülesandeks  loss jälle elamiskõlblikuks muuta ning 1620-30ndatel aastatel tegeldi linnuse taastamistöödega. 1626. aastal lasi Jacob Haapsallu teenistusse toodud hollandi kiviraiduril ja ehitusmeistril Arent Passeril (1589-1637) mõõdistada varemeis linnus - see 1626. aastast pärinev plaan on esimene teadaolev linnuseplaan. 1631 (28). aastal läks Passer Tallinna ning teda asendas Haapsalu kiviraiduri ametis Joachim Winter (?-1664). Arvatavastituli Winter Haapsallu Rootsist, kutsujaks oli Jacob De la Gardie. Winteri  kätetöö Haapsalus on näiteks Jaani kiriku altar (1630) ja toomkiriku ristimisvaagen (1634). Peale selle veel Noarootsi kiriku epitaaf (1630) ja ristimisnõu (1634) ning Pühalepa kiriku kantsel (1636). Jaani kiriku altar on suurim kivinikeraltar kogu Eestis ja esimene säilinud uut tüüpi altar pärast kappaltareid. 1634. aastal sai toomkirik valmis, 1640ndatel uusehitused, korrastati saale ja kirikusse sai uus rõdu ja pingid. Kuid ennistustööd seiskusid, sest Jakob ehitas losse ka Rootsis ning Winter oli hõivatud  tellimustöödega sinna. Magnus Gabriel De la Gardie'l, kes oli isalt linnuse saanud 1652. aastal, pööras sellele rohkem tähelepanu pärast Saarema krooni alla minekut. 1653. a usaldas Magnus Haapsalu kavandamise kuulsa Augsburgi ehitusmeistri E. Holli pojale Matthias Hollile. (Tema projektist on säilinud A. Brentzelli poolt 1660ndatel tehtud koopia) Holl viibis Haapsalus 1653-54 ja 1657-58. Projekt nägi ette olemasolevate ehitiste ümberehitamist ja moderniseerimist -linnusest pidid saama nelinurkse sisehoovi  ning eraldi kellatorniga loss, mille maneristlikult toretsevas stiilis on tunda lõunasaksalikke mõjutusi E, Hollilt, J. Wolfilt ja H. Schickhardtilt. Lossi ehitus hakkab venima 1670ndatel aastatel, kui Magnus Gabriel De la Gardie oli segatud tülidesse õukonnas.Kuigi linnuses olid aeg-ajalt pooleli ennistustööd, leidsid seal siiski kogu Rootsi aja vältel peavarju krahviametnikud. 1688. aasta märtsis, lihavõttepühade ajal oli linnuses tulekahju, mis muutis linnuse kasutamiskõlbmatuks. Lossiõuel asuvas  aednikumajakeses oli tulega hooletult ümber käidud - leek kandus kellatorni, sealt kiriku katusele, edasi vahitorni ja osutitorni katusele. Tuul kandis leegid ka üle lossimüüri linna majade peale. Linnas põles maha kolm Rootsi turu ääres asunud maja. Pärast tulekaju vana kellatorni juurest leiti kolme kella jäänused. Nendest vanadest kelladest valati kaks uut, mis aasta hiljem vahitorni viidi. Üks neist kelladest, millel kiri vanas saksakeeles kiri ja aastaarv 1688 Tallinn, on tornis tänapäevani. Peale vahitorni  tehti korda toomkirik.