Tijdens de Tweede Russisch-Turkse Oorlog vermoedde Rumyantsev dat Potemkin opzettelijk de bevoorrading van zijn leger beperkte en nam onmiddellijk ontslag. In de Poolse veldtocht van 1794
Hij werd opnieuw benoemd tot opperbevelhebber, maar zijn rivaal Suvorov leidde de legers in de strijd. Bij deze gelegenheid gaf Rumyantsev niet eens de moeite om zijn Oekraïense herenhuis in Tashan te verlaten, dat hij had omgebouwd tot een fort. Hij stierf daar op 19 december 1796, iets meer dan een maand na de dood van Catherine, en werd begraven in de Kiev Pechersk Lavra.