השלים את המשפט הבא: ג'יימס, כעת מלך סקוטלנד ללא כתר, החל את מה שהוכח כ-18 שנותיו כבן ערובה, ובאותו הזמן עבר אלבני ממעמדו של סגן למעמד של מושל. אלבני לקח את אדמותיו של ג'יימס תחת שליטתו האישית, ושלל את המלך את ההכנסה ואת כל התכשיטים של מעמדו, והופנה לכתבים כ'בן המלך המנוח'. למלך היה בית קטן של סקוטים שכלל את הנרי סינקלייר, רוזן אורקני, אלכסנדר סיטון, אחיינו של סר דייוויד פלמינג, ואחיו של אורקני ג'ון סינקלייר לאחר שחזר הרוזן לסקוטלנד. עם הזמן, משק הבית של ג'יימס - שעכשיו משולם על ידי האנגלים - השתנה מאנשים בעלי מעמד גבוה לאנשים פחות בולטים. הנרי הרביעי התייחס היטב לג'יימס הצעיר, וסיפק לו השכלה טובה. ג'יימס היה במיקום האידיאלי כדי לצפות בשיטות של הנרי למלכות ולשליטה פוליטית, ככל הנראה הודח לבית המלוכה כאשר הגיע לבגרות. ג'יימס השתמש ביקורים אישיים מאנשי האצולה שלו יחד עם מכתבים לאנשים כדי לשמור על המוניטין שלו בממלכתו. הנרי מת בשנת 1413 ובנו, הנרי החמישי, סיים מיד את החופש השוואתי של ג'יימס, בהתחלה החזיק אותו במגדל לונדון יחד עם האסירים הסקוטיים האחרים. אחד האסירים האלה היה בן דודו של ג'יימס, מרדוק סטיוארט, בנו של אלבני, שנלכד בשנת 1402 ב
קרב גבעת הומילדון. בתחילה הם הוחזקו בנפרד, אבל מ-1413 עד לשחרורו של מרדוק ב-1415 הם היו יחד במגדל ובטירת וינדזור.