Linnuse ehitamine ja täiustamine käis keskajal käsikäes selle purustamisega. Pidi ju iga lõuna poolt Peipsi järve Vene aladelt Eesti aladele tehtud sõjaretk algama Vastseliina linnuse piiramise ja vallutamisega. Ka Liivi sõja üks esimesi avalööke 1558. aastal oli Vastseliina vallutamine. Vene väed jõudsid Vastseliina alla 15. juunil, kuid nende esimene katse linnust vallutada löödi vasturünnakuga tagasi. Seejärel järgnes uus rünnak ja piiramine koos linnuse tulistamise ning mõningase purustamisega, misjärel linnus alistus 1. juulil 1558. aastal.