Aastal 1460 püüdis Nicolaus edutult Brixenisse naasta. Hertsog Sigismund piiras Buchensteini linnust, kuhu Nicolaus pidi varjuma. Nicolaus andis alla ning pöördus lõplikult Rooma tagasi. Ka järgnevatel aastatel ei suutnud ta oma piiskopkonnas kokkulepet leida.