2012 m. lapkričio 4 d. Peralta pasirašė dvejų metų, 6 milijonų dolerių sutartį, su klubo pasirinkimais 2015 ir 2016 m. Andrew Friedman, "Rays" vykdomasis beisbolo operacijų viceprezidentas tuo metu apie jį sakė: "Mes mėgstame Joel'o konkurencingumą ir jo poveikį jaunesniems krepšininkams mūsų "bullpen". 2013 m. jis surengė 80 rungtynių karjeros metu, vadovaudamas "Majors" ir nustatydamas klubo rekordą dešiniarankiui ir savo trečiąjį iš eilės 70-plus pasirodymų sezoną. Jis buvo 3-8 su 3.41 ERA. 2013 m. Amerikos lygos Wild Card žaidime jis iškėlė vieną be taškų įvaržą.
2013 m. Amerikos lygos divizijos serijoje prieš Boston Red Sox. 2014 m. Peralta pasirodė 69 rungtynėse ir buvo 3-4 su 4.41 ERA.