En mayo de 1814, Ruffo regresó a Roma, donde la población y el Colegio de Cardenales lo recibieron con indiferencia, por lo que decidió mudarse a Nápoles y establecerse allí. El 8 de febrero de 1815, el Papa Pío VII lo llamó de Roma y lo nombró Prefecto de la Annona y de Grascia, es decir, responsable de la provisión de carne, grasa y aceite. El 8 de mayo de 2017, se convirtió en Gran Prior de la Orden de Malta dentro del Estado Pontificio. Del 29 de marzo de 1819 al 21 de febrero de 1820, fue Camerlengo de la Santa Iglesia Romana hasta su nombramiento en el de Prefecto de la Congregación para el Agua, los Pantanos Pontinos y de Chiani. En marzo de 1821, regresó a Nápoles, que estaba afectada por la rebelión popular contra las fuerzas militares austríacas. El 27 de junio, eligió la diaconía de Santa María en Via Lata y ostenta el título de Cardenal Protodiácono. En agosto de 1823, Ruffo participó en el cónclave papal
que eligió al Papa León XII. Al final del año, Ruffo regresó a Nápoles.