Johannes otsis varjupaika mägedes, kohas, mida tänapäeval tunneme Armeeniana. Kuid ta pidas sidet oma kaastööliste ja sõpradega ning avaldas lootust, et ehk õnnestub tal Konstantinoopolisse tagasi pöörduda. Kui Roomas levisid kuuldused, et piiskop Johannes on eksiilis, siis läkitati saadikud, kes pidid kokku kutsuma Kirikukogu ja teada andma, et Rooma esindajad on Johannesega ühte meelt ja mõistavad tema tegevuse õigeks. Kuid saadikud vahistati ja saadeti hiljem koju tagasi. Selle tagajärjel lõikas paavst läbi sidemed Aleksandria ja Konstantinoopoli patriarhidega. Kuid kõik lootused Johannese tagasipöördumisest haihtusid viimaks. Tema vaenlased ootasid pingsalt, et Johannes sureks, kuid ootamisaeg venis nende meelest liiga pikaks. 407. aasta suvel anti korraldus, et Johannes viidaks impeeriumi piirimaile Kaukaasia lähistel. Kaks sõdurit, kes selle ülesande jaoks palgati, põhjustasid talle palju kannatust ja vaeva. Nad sundisid teda marssima pikki vahemaid, lasid tal olla pikalt kõrvetavas päikesekuumuses, hoidsid vihma käes ja sundisid magama väljas ööjaheduses. 14. septembril andis pidev vaev ja koormus ennast tunda ning piiskop Johannes Kuldsuu suri. Tema viimased sõnad olid: Doxa to theo panton eneken (Au olgu Jumalale kõiges). Ta maeti Comanasse. 27. jaanuaril 438. aastal viidi ta surnukeha Konstantinoopolisse ja asetati sealsesse Apostlite kirikusse. 4. ristisõja käigus 1203. aastal viidi Johannes Kuldsuu ja Gregorios Teoloogi jäänused Rooma. Rooma paavst Johannes Paulus II otsustas need 2004. aasta novembris Konstantinoopoli patriarhile Istanbuli viimiseks tagasi anda. (Sündmusest võtsid osa ka Eesti Apostlik-Õigeusu Kiriku metropoliit Stefanus koos diakon Justinusega.)