Jeho vzostup k nadvláde v kráľovstve sa začal katastrofálnou porážkou jeho staršieho brata Archibalda Douglasa, 4. grófa Douglasa, na
Bitka pri Homildon Hill v septembri 1402, kde ho Angličania zajali. James teraz zastával funkciu vedúceho hlavnej vetvy mocnej rodiny Douglasovcov a bol ponechaný na udržanie ich vplyvu v južnom Škótsku. Jeho úspechy v tomto ohľade zachovali Douglasov vplyv až do návratu jeho staršieho brata z zajatia v roku 1409, kedy prevzal úlohu radcu a bol odmenený udelením rozsiahlych statkov. Najvýznamnejšou z nich bola pevnosť hradu Abercorn, ktorý sa stal jeho hlavným sídlom po zvyšok jeho života.