Kun Hale oli peitetehtävässä, New York City (myöhemmin Manhattanin eteläosassa sijaitseva alue, lähinnä nykyisen Chambers Streetin eteläpuolella) kaatui brittiläisille 15. syyskuuta, ja Washington joutui vetäytymään saaren pohjoispuolelle Harlem Heightsissa (nykyinen Morningside Heights). Pian sen jälkeen, 21. syyskuuta, vuoden 1776 New Yorkin suuressa tulipalossa paloi neljännes Manhattanin alaosasta. Tulipalon uskotaan sytyttäneen amerikkalaiset sabotoijat, - jotta kaupunki ei joutuisi brittien käsiin. Vaikka New Yorkin sytyttäminen oli ehdotettu, - Washington ja kongressi eivät hyväksyneet sitä.
Hän oli hylännyt ajatuksen ja kieltäytynyt vastuusta. Amerikkalaiset syyttivät britejä palon sytyttämisestä - ilman ylempien käskyjä, jotta he voisivat ryöstää kaupungin. Tulipalon jälkeen yli 200 amerikkalaista isänmaallista pidätettiin kuulusteltavaksi.