Hann komst í vald í konungsríkinu ūegar hann sigrađi eldri brķđur sinn, Archibald Douglas, 4. jarl Douglas, í
Barátta við Homildon Hill í september 1402, þar sem hann var handtekinn af Englendingum. James var nú starfandi yfirmaður helstu greinar öflugu Douglas-fjölskyldunnar og var látinn viðhalda áhrifum sínum í suður Skotlandi. Velgengni hans í þessu sambandi varðveitti áhrif Douglasar þar til eldri bróðir hans sneri aftur úr fangelsi árið 1409, en þá tók hann við hlutverki ráðsmanns og var verðlaunaður með víðtækum eignum. Mikilvægasta þeirra var vígstöð Abercorn-kastalans, sem varð aðalheimili hans til æviloka.