Tolesni dešimtmečiai buvo šiek tiek mažiau audringi. 1506 m. Lida buvo nuniokota Krymo tatarų, o 1659 m. Rusijos-Lenkijos karo metu ją užėmė rusai. Švedai per Didįjį Šiaurės karą jį užėmė du kartus, ir abu bokštai buvo susprogdinti. 1794 m. pilies teritorijoje vyko mūšis tarp Kościuszko pasekėjų
ir rusai.