Kolegija patyrė didelių žmonių ir kapitalo nuostolių per 1656 m. Švedijos invaziją.
ir 1710 m. maras, bet atsigavo. Po jėzuitų suvaržymo 1773 m. kolegijos administravimą perėmė Nacionalinio švietimo komisija. Po Trečiojo Lenkijos-Lietuvos respublikos padalijimo 1797-1817 m. mokyklą valdė karmelitės iš Kolainių. 1817 m. carų valdžia sekuliarizavo mokyklą, pakeitė jos pavadinimą į gimnaziją, įvedė pradinį ugdymą ir pervedė jos administravimą į Vilniaus universitetą. Todėl studentų skaičius išaugo ir viršijo 400.