Zijn opkomst tot overheersing in het koninkrijk begon met de rampzalige nederlaag van zijn oudere broer Archibald Douglas, 4e graaf van Douglas, in de Slag bij Homildon Hill.
In september 1402 werd hij gevangen genomen door de Engelsen. James was nu het hoofd van de belangrijkste tak van de machtige familie Douglas en moest hun invloed in het zuiden van Schotland behouden. Zijn successen in dit opzicht behielden de invloed van Douglas tot de terugkeer van zijn oudere broer uit gevangenschap in 1409, toen hij de rol van raadslid op zich nam en werd beloond met de toekenning van uitgebreide landgoederen. De belangrijkste hiervan was het bolwerk van Abercorn Castle, dat zijn hoofdverblijfplaats zou worden voor de rest van zijn leven.