2012年11月4日,ペラルタは2年間の600万ドルの契約に署名し,クラブは2015年と2016年のオプションを付与した. レイズの野球運営担当副社長であるアンドリュー・フリードマン氏は当時,ジョエルの競争力や,若いピッチャーに与える影響が大好きだと言った. 2013年,メジャーリーグをリードし,右利きピッチャーのクラブ記録と,70以上の出場を記録した. 3勝8敗で 3.41の平均レートだった 彼は2013年アメリカンリーグワイルドカードゲームで1得点なしのインニングを投げた.
クリーブランド・インディアンズと対戦し,ボストン・レッドソックスとの2013年アメリカンリーグ・ディビジョン・シリーズで2試合無得点で出場した. ペラルタは2014年に69試合に出場し,4.41のERAで3-4だった.