Írj folytatást erre a bekezdésre - A következő évtizedek valamivel kevésbé viharosak voltak. Lidát 1506-ban a krím-tatárok pusztították el, és az oroszok megtámadták az orosz-lengyel háború során 1659-ben. A svédek, akik kétszer elfoglalták a Nagy Északi Háború idején, mindkét tornyot felrobbantották. 1794-ben a kastély területén Kościuszko követői között harc zajlott
és az oroszok.