A fost închis împreună cu Joseph Dudley și alți oficiali dominioniști până la 7 iunie, când a fost transferat pe insula Castle. O poveste a circulat pe scară largă că el a încercat o evadare îmbrăcat în haine de femeie. Acest lucru a fost contestat de ministrul anglican din Boston, Robert Ratcliff, care a susținut că astfel de povești nu aveau "nici cea mai mică bază a adevărului", ci erau "falsități și minciuni" propagate pentru a "transmite odioasul poporului său". Andros a reușit să scape cu succes de pe insula Castle pe 2 august după ce servitorul său a mituit cei trimiși cu băuturi alcoolice. A reușit să fugă, dar a fost recapturat și în curând după aceea a fost ținut în ceea ce a fost practic închis în izolare.
îmbrăcată în haine de femeie