Fabi mudou-se para a Fórmula Un en 1982, pilotando o No. 36 Candy Toleman TG181C-Hart 415T. O equipo só se clasificara dúas veces o ano anterior, e a tempada tivo un comezo difícil cando o Gran Premio de Sudáfrica inaugural da tempada foi interrompido por unha folga de pilotos. Baixo a presión do mánager de Toleman, Alex Hawkinge, Fabi foi o único piloto en romper a folga (Jochen Mass non participou desde o comezo). A súa posición foi posta en perigo cando Candy cambiou o apoio a Tyrrell, pero el viu a tempada. O TG181C non era competitivo e o equipo focouse en gran medida no piloto líder Derek Warwick. Isto resultou en que Fabi só se clasificou para seis carreiras de 14 posibles. Calificou para o Gran Premio de San Marino, debido á guerra FISA<unk>FOCA, o que significou que só 14 coches intentaron clasificarse para a carreira. Na carreira, Fabi terminou sétimo, oito voltas atrás. Fabi clasificouse para o Gran Premio de Bélxica, comezando e terminando en vigésimo primeiro lugar. Non conseguiu clasificarse no Gran Premio de Mónaco.
antes de saltarse tanto o Gran Premio de Detroit como o Gran Premio de Canadá. Non conseguiu clasificarse no Gran Premio de Alemaña e no Gran Premio de Caesars Palace. O seu mellor resultado nas carreiras restantes foi o vigésimo no Gran Premio de Austria, e deixou a Fórmula Un ao final da tempada.