Hann náði yfirburði í konungsríkinu eftir að eldri bróðir hans, Archibald Douglas, 4. jarl Douglas, var sigraður í bardaga við Homildon Hill.
Í september 1402 var hann handtekinn af Englendingum. James var nú starfandi yfirmaður helstu greinar öflugu Douglas-fjölskyldunnar og var látinn viðhalda áhrifum sínum í suður Skotlandi. Velgengni hans í þessu sambandi varðveitti áhrif Douglasar þar til eldri bróðir hans sneri aftur úr fangelsi árið 1409, en þá tók hann við hlutverki ráðsmanns og var verðlaunaður með víðtækum eignum. Mikilvægasta þeirra var vígstöð Abercorn-kastalans, sem varð aðalheimili hans til æviloka.