Fischeris atsisakė dalyvauti 1958 m. Miuncheno olimpiadoje.
kai buvo atmestas jo reikalavimas žaisti prieš Samuel Reshevsky. Kai kurie šaltiniai tvirtina, kad 15-metis Fischeris negalėjo gauti atostogų iš mokyklos. Vėliau Fischer atstovavo Jungtinėms Valstijoms keturiose vyrų šachmatų olimpiadose, laimėdamas du sidabro ir vieną bronzos medalius: