Schrijf een vervolg op deze paragraaf - De volgende decennia waren iets minder stormachtig. Lida werd verwoest door de Krim-Tataren in 1506 en het werd bestormd door de Russen tijdens de Russisch-Poolse Oorlog in 1659. De Zweden, die het twee keer innamen tijdens de Grote Noordelijke Oorlog, lieten beide torens opblazen. In 1794 was het kasteel de plaats van een strijd tussen Kościuszko's volgelingen
en de Russen.