V květnu 1814 se Ruffo vrátil do Říma, kde ho obyvatelstvo a kardinálské sbor přijali s lhostejností, takže se rozhodl přestěhovat do Neapole a usadit se tam. Dne 8. února 1815 papež Pius VII. Ruffa odvolal z Říma a jmenoval ho prefektem Annony a Grascie, tedy odpovědným za zásobování masem, tukem a olejem. Dne 8. května 2017 se stal velkým priorem řádu maltského v rámci papežského státu. Od 29. března 1819 do 21. února 1820 byl Camerlengo Svaté římské církve, dokud nebyl jmenován prefektem Kongregace pro vodu, Pontské bažiny a Chiani. V březnu 1821 se vrátil do Neapole, který byl postižen lidovou vzpoří proti rakouským vojenským silám. Dne 27. června si zvolil diakonii Santa Maria na Via Lata a drží titul kardinála protodiakona. V srpnu 1823 se Ruffo zúčastnil papežského konklavu
který zvolil papeže Leona XII. Na konci roku se Ruffo vrátil do Neapole.