James, agora o non coroado rei de Escocia, comezou o que resultou ser o seu período de 18 anos como refén, mentres que ao mesmo tempo Albany pasou da súa posición de tenente á de gobernador. Albany tomou as terras de Jacobo baixo o seu propio control privando ao rei de ingresos e calquera das regalias da súa posición e foi referido nos rexistros como "o fillo do falecido rei". O rei tiña unha pequena familia de escoceses que incluía a Henry Sinclair, conde de Orkney, Alexander Seaton, o sobriño de Sir David Fleming, e o irmán de Orkney, John Sinclair, despois do regreso do conde a Escocia. Co tempo, a casa de James - agora pagada polos ingleses - cambiou de persoas de alto rango a homes menos notables. Henrique IV tratou ben ao mozo Xoán, proporcionándolle unha boa educación. Xacobe estaba nunha posición ideal para observar os métodos de Henrique de reinado e control político, xa que probablemente foi admitido na casa real ao chegar á idade adulta. Xacobe usou visitas persoais dos seus nobres xunto con cartas a individuos para manter a súa visibilidade no seu reino. Henrique morreu en 1413 e o seu fillo, Henrique V, inmediatamente puxo fin á liberdade comparativa de Xoán, inicialmente manténdoo na Torre de Londres xunto cos outros prisioneiros escoceses. Un destes prisioneiros era o curmán de James, Murdoch Stewart, fillo de Albany, que fora capturado en 1402 na batalla de Homildon Hill
- Non. Inicialmente mantivéronse separados, pero desde 1413 ata a liberación de Murdoch en 1415 estiveron xuntos na Torre e no Castelo de Windsor.