أكمل الجملة التالية: بدأ جيمس، الآن ملك اسكتلندا غير المتوج، ما اتضح أنه فترة 18 سنة كرهينة بينما في نفس الوقت انتقلت ألباني من منصب ملازمها إلى منصب حاكم. اتخذ ألباني أراضي جيمس تحت سيطرته الخاصة وحرم الملك من الدخل وأي من أزياء منصبه ووصف في السجلات بأنه "ابن الملك الراحل". كان لدى الملك أسرة صغيرة من الاسكتلنديين شملت هنري سنكلير ، إيرل أوركني ، وألكسندر سيتون ، ابن أخ السير ديفيد فليمنج ، وشقيق أوركني جون سنكلير بعد عودة إيرل إلى اسكتلندا. مع مرور الوقت، تغيرت أسرة جيمس -والتي دفعتها الانجليزية- من أفراد ذوي رتبة عالية إلى رجال أقل شهرة. عامل هنري الرابع جيمس الصغير بشكل جيد، وقدم له تعليم جيد. كان جيمس في وضع مثالي لمراقبة أساليب هنري للملكية والسيطرة السياسية بعد أن تم قبوله في البيت الملكي عند بلوغه سن البلوغ. استخدم جيمس الزيارات الشخصية من نبلاءه إلى جانب الرسائل للأفراد للحفاظ على وضوحه في مملكته. مات هنري في سنة 1413 وسرعان ما أنهى ابنه هنري الخامس حرية جيمس النسبية في البداية و احتجزه في برج لندن مع السجناء الاسكتلنديين الآخرين. واحد من هؤلاء السجناء كان ابن عم جيمس، مردوك ستيوارت، ابن ألباني، والذي تم القبض عليه سنة 1402 في
معركة تلة هوميلدون. في البداية تم احتجازهم بشكل منفصل ولكن من 1413 حتى إطلاق سراح مردوك في 1415 كانوا مع بعضهم في البرج وفي قلعة ويندسور.