La prosperidad llegó a su fin a mediados del siglo XVII, causada por el ejército sueco invasor durante el Diluvio
, y una decadencia general de la Comunidad polaco-lituana. La decadencia de la ciudad duró más de cien años, y sólo a finales del siglo XVIII recuperó sus niveles anteriores de población. En 1754, el obispo católico romano fundó la primera biblioteca pública de Przemyśl, que fue solo la segunda biblioteca pública en la Mancomunidad de Polonia-Lituania, con la Biblioteca Załuski de Varsovia fundada 7 años antes. La importancia de Przemyśl en ese momento fue tal que cuando Austria se anexó el este de Galicia en 1772, los austriacos consideraron hacer de Przemyśl su capital provincial, antes de decidirse por Lwów. A mediados del siglo XVIII, los judíos constituían el 55.6% (1.692) de la población, los polacos católicos romanos el 39.5% (1.202) y los rutenios católicos griegos el 4.8% (147).