Miközben Hale beépített ügynök volt, New York City (amikor a Manhattan déli csúcsa, többnyire a mai Chambers Street déli részén) szeptember 15-én a brit erők kezébe került, és Washington kénytelen volt visszavonulni a sziget északi részére, Harlem Heights-ba (amely ma Morningside Heights). Nem sokkal később, szeptember 21-én Manhattan alsó részének negyede leégett az 1776-os New York-i nagy tűzvészben. Később széles körben úgy gondolták, hogy a tüzet amerikai szabotőrök gyújtották, hogy megakadályozzák, hogy a város a britek kezébe kerüljön, és bár New York felgyújtása Washington visszavonulása alatt valóban javasolt volt, Washington és a Kongresszus
elutasította az ötletet és tagadta a felelősséget. Az amerikaiak azzal vádolták a brit katonákat, hogy parancs nélkül gyújtották fel a tűzeket, hogy kifoszthassák a várost. A tűz után több mint 200 amerikai hazafiat fogva tartottak a britek kihallgatásra.