V roce 1982 se Patrese přestěhoval do Brabhamu a získal své první vítězství na Velké ceně Monaka.
za poměrně senzačních okolností. Patrese převzal vedení, když Alain Prost vybočil, jen aby se na dalším kole otočil v tlumících podmínkách. To ho zanechalo třetího za Didierem Pironi a Andreou de Cesaris, kteří oba zastavili na posledním kole - Pironi s elektrickou poruchou a de Cesaris bez paliva. Později téže sezony vedl také Velkou cenu Rakouska, ale kvůli poruchě motoru odešel do důchodu. Patrese dokončil sezónu desátý, těsně před svým spoluhráčem Nelsonem Piquetem. Rok 1983 se ukázal být obtížnější. Patrese vyrazil pozdě v závodě, zatímco vedl v San Marinu - k jásání "tifosi", protože jeho šunt znamenal, že předal vítězství v závodě jezdci Ferrari Patrickovi Tambayovi. Také získal pole na domácí půdě v Italské Grand Prix, než jeho motor vybuchl v počátečních fázích závodu: v rozhovoru v roce 2010 řekl, že má podezření, že jeho motor byl ponechán v kvalifikačním výbavě, což ho činilo extrémně silným, ale křehkým, protože mu nebyla nabídnuta nová smlouva na následující rok a byl neochotný obětovat své šance na vítězství ve své domácí Grand Prix pro spoluhráče Nelsona Piqueta, který bojoval o mistrovství světa. Navzdory druhému vítězství v Jihoafrické Grand Prix skončil Patrese pouze na devátém místě, zatímco Piquet získal svůj druhý titul v šampionátu řidičů. Trvalo sedm let, než se opět dostal na vrchní schodiště pódium.