A királyságban uralkodó pozíciója azzal kezdődött, hogy katasztrofális vereséget szenvedett bátyja, Archibald Douglas, Douglas 4. grófja ellen a Homildon-hegy csatájában.
1402. szeptemberében, amikor az angolok foglyul ejtették. James most a hatalmas Douglas család fő ágának vezetője volt, és meg kellett őriznie befolyását Dél-Skóciában. E tekintetben elért sikerei megőrizték Douglas befolyását az idősebb testvére 1409-es fogságból való visszatéréséig, ekkor vette át a tanácsos szerepét, és kiterjedt birtokokkal jutalmazták. Ezek közül a legfontosabb az Abercorn kastély erődje volt, amely életének hátralévő részében fő tartózkodási helyévé vált.