Jakub, teraz nieokronowany król Szkotów, rozpoczął swój 18-letni okres jako zakładnik, podczas gdy w tym samym czasie Albany przeszedł z pozycji porucznika na gubernatora. Albany przejął ziemie Jamesa pod własną kontrolą, pozbawiając króla dochodu i wszelkich znaków jego pozycji i został określony w dokumentach jako "syn zmarłego króla". Król miał niewielką rodzinę Szkotów, w skład której wchodzili Henry Sinclair, hrabia Orkney, Alexander Seaton, bratanek sir Davida Fleminga i brat Orkney'a John Sinclair po powrocie hrabiego do Szkocji. Z czasem domownicy Jamesa - teraz opłacani przez Anglików - zmienili się z osób o wysokiej pozycji na mniej znanych ludzi. Henryk IV dobrze traktował młodego Jakuba, zapewniając mu dobre wykształcenie. Jakub był idealnie przygotowany do obserwacji metod panowania i politycznej kontroli Henryka, prawdopodobnie został przyjęty do królewskiego domu po osiągnięciu dorosłości. Jakub korzystał z osobistych wizyt swoich szlachciców w połączeniu z listami do poszczególnych osób, aby utrzymać swoją widoczność w swoim królestwie. Henryk zmarł w 1413 roku, a jego syn, Henryk V, natychmiast zakończył względną wolność Jamesa, początkowo trzymając go w Tower of London wraz z innymi szkockimi więźniami. Jednym z więźniów był kuzyn Jamesa, Murdoch Stewart, syn Albany, który został schwytany w 1402 roku w bitwie pod Homildon Hill
- Co? Początkowo trzymali się oddzielnie, ale od 1413 roku do uwolnienia Murdocha w 1415 roku byli razem w Tower i na zamku Windsor.