1938 m. Grafas išvyko iš Europos per Nyderlandus ir liepos mėnesį atvyko į Niujorką. Mirjam Sachs sekė jį, bet jo žmona ir vaikas liko Vokietijoje. 1938 m. spalio mėn. Jis buvo paskirtas Vokietijos Amerikos rašytojų asociacijos prezidentu. 1942 m. Jis kartu su Wieland Herzfelde ir kitais emigrantų vokiečių rašytojais įkūrė vokiečių kalbos leidyklą Aurora-Verlag Niujorke, kuri buvo laikoma Malik-Verlag įpėdine. Grafo pirmoji žmona sutiko su skyrybų 1944 m., o tai leido Grafui ir Sachsui susituokti. 1958 m. Grafas gavo Amerikos pilietybę ir pirmą kartą po Antrojo pasaulinio karo aplankė Europą.
Niujorkas