Vuonna 1978 Olafsson nousi FIDE:n puheenjohtajaksi. Hänen toimikautensa aikana hän johti vuoden 1981 Karpov <unk> Korchnoi -maailmanmestaruusottelua.
- Mitä? Koska Korchnoi karkasi Neuvostoliitosta vuonna 1976, - Neuvostoliitolla oli Korchnoin poika, Igor. Olafsson lykkäsi ottelun alkamispäivää 19. syyskuuta saadakseen Neuvostoliiton vapauttamaan Korchnoin pojan. Tämän yrityksensä vuoksi Olafsson sai Neuvostoliiton vihan, joka sitten tuki FIDE: n varapuheenjohtajaa Florencio Campomanesia FIDE: n puheenjohtajaksi. Campomanes nousi Olafssonin jälkeen FIDE:n presidentiksi vuonna 1982.