Liivi sõda oli linna ja linnust tugevasti laastanud - linnus oli sõja ajal kuus ja linn kaheksa korda peremeest vahetanud. Enamik linna maju oli sõjas purustatud, hävis praegusel Lossiplatsil olnud hoonestus. Kannatada oli saanud piki praegust Rüütli ja Wiedemanni tänavat kulgenud linnamüür, mis pärast Liivi sõda lammutati ja nii ta linnaplaanilt kadus.  16.sajandi lõpus oli Haapsalu elanikkond üsna suur, vähemalt on teada, et 1595. aastal oli linnal raad, kuhu kuulus üks bürgermeister ja seitse rae liiget. (See ületab rae suuruse sajand hiljem) 17. sajandi esimesel poolel oli Haapsalu elanike arv võrdlemisi väike ja kaevatakse, et kodanikel puudub kapital ja algatusvõime. Elanike arv oli vähenenud pärast sajandi alguse näljahäda ja taudisid. 1648. aastal linnal raad puudus, kohtumõistmiseks oli olemas vaid alamkohus, kuid seegi puuduliku koosseisuga. Revideerimist  toimetav komisjon pidas aga võimalikuks, et juhul, kui kodanike arv linnas peaks suurenema, võiks Haapsalus bürgermeister ja mõned rae liikmed ametisse seada, kuigi kõrgeim võim linna üle ka sel juhul pidi kuuluma läänihärrale. 17. sajandi teisel poolel Haapsalu elanike arv ilmselt suurenes, linna on väljaspoolt elama asunud rida kaubanduses vilunud uuskodanikke. Varsti on läänihärra ka esimese bürgermeistri (Christian von Huseni) ametisse seadnud. Reahärrade valimisest aga puuduvad esialgu lähemad teated.  Veel 17. sajandi lõpul on Haapsalus peale bürgermeistri ja kohtufoogti (viimane oli ühtlasi raesekretär) ainult kaks rae liiget ametis. Sajandi lõpul oli Haapsalus u 45 kodanikku, üldse linnaelanike arv võis olla 700 ringis (Kalev Jaago arvates) (Soom arvab, et 400-500). Pärast 1695-97. aasta näljahäda elanike arv ilmsel vähenes. Haapsalu oli välisilmelt nigel - väike, halva planeerimisega, lihtsad õlgkatusega palkehitised. Linna ilmet taheti soliidsemaks muuta ja 1664. aastal Magnus Gabriel De la Gardie  endis linnale raekoja ehitamiseks krundi. (Raekoda sai valmis alles 1775. aastal). 1640ndatel alustasid De la Gardie'd lossi ümber pargi rajamist. 1683. aastal aastal on Waxelberg joonistanud kaks linnavaadet, need on esimesed joonistused Haapsalu kohta. Rootsi ajal laienes linn väljapoole oma keskaegseid piire. 17. sajandil on esmakordselt mainitud ka mitmeid Haapsalu eeslinnu - Kastinina ehk Kaiserorti (Suur-Liiva tänava kandis), Bürgermeistri holmi, Koplit (praeguse Kopli tänava ümbrus), Loemäge (Õhtu  kalda, Lahe ja Kalda tänavate vahel). Suurem osa tollaseid eeslinnade elanike olid pärit ilmselt Hiiumaalt ja Noarootsist.