Když bylo Fischerovi 16 let, jeho matka se přestěhovala z bytu, aby získala lékařské vzdělání. Její přítelkyně Joan Rodkerová, která se s Reginou setkala, když oba byli "idealistickými komunisty" žijícími v Moskvě ve 30. letech 20. století, věří, že Fischerovi vadilo, že jeho matka byla většinou nepřítomná jako matka, komunistická aktivistka a obdivovatelka Sovětského svazu, a že to vedlo k jeho nenávisti k Sovětům. V dopisech Rodkerovi Fischerova matka uvádí, že by chtěla pokračovat ve své vlastní "obsesi" lékařského vzdělání a píše, že by její syn musel žít v jejich bytě v Brooklynu bez ní: "Zní to strašně, nechat šestnáctiletého dítěte na vlastní pěst, ale je pravděpodobně šťastnější". Byt byl na okraji Bedford-Stuyvesant, čtvrti, která měla jednu z nejvyšších míry vražd a obecné kriminality v New Yorku. Navzdory odcizení od svého syna, Regina, v roce 1960, protestovala proti praktikám Americké šachové nadace a uspořádala pětihodinový protest před Bílým domem, vyzývající prezidenta Dwighta D. Eisenhowera, aby poslal americký tým na šachovou olympiádu toho roku
(za železnou oponou) a pomáhat finančně týmu.