Ljúktu eftirfarandi setningu: James, nú ókrýndur konungur Skotlands, byrjaði á því sem reyndist vera 18 ára gíslingur á sama tíma og Albany var færður úr stöðu liðsforingja í stöðu landstjóra. Albany tók jarðir Jakobs undir eigin stjórn og svipti konunginn tekjum og einhverjum af heiðursmerkinu af stöðu sinni og var vísað til í skrám sem "son hins látna konungs". Konungurinn átti lítið skoskt heimili sem fól í sér Henry Sinclair, jarl Orkney, Alexander Seaton, systkinabarn Sir David Fleming, og bróður Orkney John Sinclair eftir að jarlinn sneri aftur til Skotlands. Með tímanum breyttist húsfélag Jakobs - sem nú var greitt fyrir af Englendingum - úr háum einstaklingum í minna þekkta menn. Henrík fjórði fór vel með hinn unga Jakob og veitti honum góða menntun. Jákup var í fullkominni stöðu til að fylgjast með aðferðum Henriks í konungsríki og stjórnmálum þar sem hann var líklega tekinn inn í konungshúsið þegar hann varð fullorðinn. Jákup notaði persónulegar heimsóknir frá höfðingjum sínum ásamt bréfum til einstaklinga til að viðhalda sýnileika sínum í ríki sínu. Henrik dó árið 1413 og sonur hans, Henry V, endaði strax tiltölulega frelsi Jakobs með því að halda honum í byrjun í Tower of London ásamt öðrum skoskum fanga. Einn af þessum fangar var James frændi, Murdoch Stewart, sonur Albany, sem hafði verið handtekinn í 1402 á
Barátta við Homildon-fjall. Í upphafi voru þeir haldnir í sundur en frá 1413 og fram að lausn Murdochs árið 1415 voru þeir saman í Tower og Windsor-kastali.