Las décadas siguientes fueron algo menos tormentosas. Lida fue devastada por los tártaros de Crimea en 1506 y fue asaltada por los rusos durante la guerra ruso-polaca en 1659. Los suecos, que la tomaron dos veces durante la Gran Guerra del Norte, hicieron volar ambas torres. En 1794, los terrenos del castillo fueron el lugar de una batalla entre los seguidores de Kościuszko
y los rusos.