Dokončete následující větu: Jakub, nyní nekorunovaný skotský král, začal svou osmnáctiletou dobu jako rukojmí, zatímco Albany byl přemístěn ze svého místa poručíka na guvernéra. Albany převzal Jameseovy pozemky pod svou vlastní kontrolu, zbavil krále příjmů a jakéhokoli z jeho postavení a byl v záznamech označován jako'syn zesnulého krále'. Král měl malou domácnost Skotů, která zahrnovala Henryho Sinclaira, hraběte z Orkney, Alexandra Seatona, synovce sira Davida Fleminga a Orkneyho bratra Johna Sinclaira po hrabětině návratu do Skotska. Časem se Jamesova domácnost - nyní placená Angličany - změnila z vysoce postavených jedinců na méně významné muže. Jindřich IV. zacházel s mladým Jakubem dobře a poskytl mu dobré vzdělání. Jakub byl ideálně umístěn, aby sledoval Henryho metody království a politické kontroly, protože byl pravděpodobně přijat do královské domácnosti, když dosáhl dospělosti. Jakub používal osobní návštěvy svých šlechticů spolu s dopisy jednotlivcům, aby si udržel svou viditelnost ve svém království. Jindřich zemřel v roce 1413 a jeho syn Jindřich V. okamžitě ukončil Jameseovu poměrnou svobodu. Zpočátku ho držel v Toweru v Londýně spolu s ostatními skotskými vězni. Jedním z těchto vězňů byl James bratranec, Murdoch Stewart, Albany syn, který byl zajat v roce 1402 na
Bitva u Homildon Hill. Zpočátku byli drženi odděleně, ale od roku 1413 až do Murdochova propuštění v roce 1415 byli spolu v Toweru a na hradě Windsor.