Jakub, nyní nekorunovaný král Skotů, začal, co se ukázalo být jeho 18-leté období jako rukojmí, zatímco současně Albany přešel z jeho pozice poručíka na to, že guvernéra. Albany převzal Jameseovy pozemky pod svou vlastní kontrolu, zbavil krále příjmů a jakéhokoli z jeho postavení a byl v záznamech označován jako'syn zesnulého krále'. Král měl malou domácnost Skotů, která zahrnovala Henryho Sinclaira, hraběte z Orkney, Alexandra Seatona, synovce sira Davida Fleminga a Orkneyho bratra Johna Sinclaira po hrabětině návratu do Skotska. Časem se Jamesova domácnost - nyní placená Angličany - změnila z vysoce postavených jedinců na méně významné muže. Jindřich IV. zacházel s mladým Jakubem dobře a poskytl mu dobré vzdělání. Jakub byl ideálně umístěn, aby sledoval Henryho metody království a politické kontroly, protože byl pravděpodobně přijat do královské domácnosti, když dosáhl dospělosti. Jakub používal osobní návštěvy svých šlechticů spolu s dopisy jednotlivcům, aby si udržel svou viditelnost ve svém království. Jindřich zemřel v roce 1413 a jeho syn Jindřich V. okamžitě ukončil Jameseovu poměrnou svobodu. Zpočátku ho držel v Toweru v Londýně spolu s ostatními skotskými vězni. Jedním z těchto vězňů byl Jamesův bratranec Murdoch Stewart, syn Albanyho, který byl zajat v roce 1402 v bitvě u Homildon Hill
- Ne, ne. Zpočátku byli drženi odděleně, ale od roku 1413 až do Murdochova propuštění v roce 1415 byli spolu v Toweru a na hradě Windsor.