Í framhaldi af þessari málsgrein - James, nú ókrýndur konungur Skotlands, hóf það sem reyndist vera 18 ára tímabilið hans sem gísli á sama tíma Albany færðist frá stöðu hans sem liðsforingi til þess að ríkisstjóra. Albany tók jarðir Jakobs undir eigin stjórn og svipti konunginn tekjum og einhverjum af heiðursmerkinu af stöðu sinni og var vísað til í skrám sem "son hins látna konungs". Konungurinn átti lítið skoskt heimili sem fól í sér Henry Sinclair, jarl Orkney, Alexander Seaton, systkinabarn Sir David Fleming, og bróður Orkney John Sinclair eftir að jarlinn sneri aftur til Skotlands. Með tímanum breyttist húsfélag Jakobs - sem nú var greitt fyrir af Englendingum - úr háum einstaklingum í minna þekkta menn. Henrík fjórði fór vel með hinn unga Jakob og veitti honum góða menntun. Jákup var í fullkominni stöðu til að fylgjast með aðferðum Henriks í konungsríki og stjórnmálum þar sem hann var líklega tekinn inn í konungshúsið þegar hann varð fullorðinn. Jákup notaði persónulegar heimsóknir frá höfðingjum sínum ásamt bréfum til einstaklinga til að viðhalda sýnileika sínum í ríki sínu. Henrik dó árið 1413 og sonur hans, Henry V, endaði strax tiltölulega frelsi Jakobs með því að halda honum í byrjun í Tower of London ásamt öðrum skoskum fanga. Einn þeirra var frændi James, Murdoch Stewart, sonur Albany, sem hafði verið tekinn í fangelsi 1402 í bardaga við Homildon Hill.
Ég veit ūađ ekki. Í upphafi voru þeir haldnir í sundur en frá 1413 og fram að lausn Murdochs árið 1415 voru þeir saman í Tower og Windsor-kastali.