Ketika Hale menyamar, New York City (kemudian daerah di ujung selatan Manhattan, sebagian besar di selatan apa yang sekarang Chambers Street) jatuh ke pasukan Inggris pada tanggal 15 September, dan Washington dipaksa untuk mundur ke utara pulau di Harlem Heights (apa yang sekarang Morningside Heights). Tak lama kemudian, pada tanggal 21 September, seperempat bagian bawah Manhattan terbakar dalam Great New York Fire of 1776. Kebakaran itu kemudian secara luas dianggap telah dimulai oleh sabotase Amerika untuk menjaga kota dari jatuh ke tangan Inggris, dan meskipun membakar New York selama mundur Washington memang telah diusulkan, Washington dan Kongres
telah menolak ide dan menyangkal tanggung jawab. Orang Amerika menuduh tentara Inggris yang memulai kebakaran tanpa perintah dari atasan mereka sehingga mereka bisa merampas kota. Setelah kebakaran, lebih dari 200 Patriot Amerika ditahan oleh Inggris untuk diinterogasi.