Completa la següent frase: El 4 de novembre de 2012, Peralta va signar un contracte de dos anys, 6 milions de dòlars, amb opcions de club per a 2015 i 2016. Andrew Friedman, el vicepresident executiu d'operacions de beisbol dels Rays va dir d'ell en aquell moment, "Estem encantats de la competitivitat de Joel i l'impacte que té en els pitchers més joves del nostre bullpen". Va fer un màxim de 80 aparicions en la seva carrera el 2013, liderant les Majors i establint un rècord del club per a un lançador dreta i la seva tercera temporada consecutiva de més de 70 aparicions. Era 3-8 amb una ERA de 3.41. Va llançar una entrada sense gols en el
2013 American League Wild Card Game contra els Indians de Cleveland i va fer dues aparicions sense gols en la 2013 American League Division Series contra els Boston Red Sox. Peralta va aparèixer en 69 partits el 2014 i va ser 3-4 amb una efectivitat de 4,41.