V máji 1814 sa Ruffo vrátil do Ríma, kde ho obyvateľstvo a kolégium kardinálov prijalo s ľahostajnosťou, takže sa rozhodol presťahovať do Neapole a usadiť sa tam. Pápež Pius VII. ho 8. februára 1815 zavolal späť do Ríma a menoval ho prefektom Annony a Grascie, teda zodpovedným za zásobovanie mäsom, tukom a olejom. Dňa 8. mája 2017 sa stal veľkým priorom Maltského rádu v rámci pápežského štátu. Od 29. marca 1819 do 21. februára 1820 bol Camerlengo Svätej rímskej cirkvi až do svojho vymenovania za prefekta Kongregácie pre vodu, Pontské močiare a Chiani. V marci 1821 sa vrátil do Neapola, ktoré bolo postihnuté ľudovou povstaním proti rakúskym vojenským silám. Dňa 27. júna si zvolil diakóniu Santa Maria na Via Lata a držal titul kardinála protodiakóna. V auguste 1823 sa Ruffo zúčastnil pápežského konklavu
ktorý zvolil pápeža Leva XII. Na konci roka sa Ruffo vrátil do Neapole.