Completa a seguinte frase: O 4 de novembro de 2012, Peralta asinou un contrato de dous anos, 6 millóns de dólares, con opcións de club para 2015 e 2016. Andrew Friedman, o vicepresidente executivo de operacións de béisbol dos Rays dixo del na época, "A nós encántanos a competitividade de Joel e o impacto que ten nos lanzadores máis novos do noso bullpen". Fixo unha carreira de 80 aparicións en 2013, liderando os Majors e establecendo un récord do club para un lanzador dereitista e a súa terceira tempada consecutiva de máis de 70 aparicións. Foi 3-8 cunha efectividade de 3.41. Lanzou unha entrada sen goles na
2013 American League Wild Card Game contra os Cleveland Indians e fixo dúas aparicións sen goles na 2013 American League Division Series contra o Boston Red Sox. Peralta apareceu en 69 partidos en 2014 e foi 3-4 con 4.41 ERA.