2012. november 4-én Peralta kétéves, 6 millió dolláros szerződést írt alá a klubval 2015-re és 2016-ra. Andrew Friedman, a Rays Baseball Operations ügyvezető alelnöke azt mondta róla abban az időben: "Imádjuk Joel versenyképességét és a hatását a fiatalabb dobókra a bullpenben". 2013-ban karrierje során 80 meccset játszott, és a jobbkezes dobó klubrekordját állította fel. 3-8 volt, 3,41 ERA-val. Egy gól nélküli inninget dobott a 2013-as American League Wild Card játékban.
a Cleveland Indians ellen, és két gól nélküli meccset játszott a 2013-as American League Divíziós Sorozatban a Boston Red Sox ellen. Peralta 2014-ben 69 mérkőzésen szerepelt, és 3-4 volt, 4,41 ERA-val.