En maio de 1814, Ruffo volveu a Roma, onde a poboación e o Colexio de Cardeais o recibiron con indiferenza, polo que decidiu moverse cara a Nápoles e establecerse alí. O 8 de febreiro de 1815, o papa Pío VII chamou a Rufo de Roma e nomeouno prefecto de Annona e de Grascia, é dicir, responsable da adquisición de carne, graxa e aceite. O 8 de maio de 2017 converteuse en Gran Prior da Orde de Malta dentro do Estado Pontificio. Do 29 de marzo de 1819 ao 21 de febreiro de 1820, foi Camerlengo da Santa Igrexa Romana ata o seu nomeamento como Prefecto da Congregación para a auga, pantanos pontinos e de Chiani. En marzo de 1821, volveu a Nápoles, que estaba afectada pola rebelión popular contra as forzas militares austríacas. O 27 de xuño elixiu a diaconía de Santa María en Via Lata e ostenta o título de Cardeal Protodiácono. En agosto de 1823, Ruffo participou no conclave papal
que elixiu ao Papa León XII. Ao final do ano, Ruffo volveu a Nápoles.