Jego wzrost do dominacji w królestwie rozpoczął się katastrofalną porażką jego starszego brata Archibalda Douglasa, 4. hrabiego Douglasa, w
Bitwa pod Homildon Hill we wrześniu 1402, gdzie został schwytany przez Anglików. James był teraz naczelnym szefem głównej gałęzi potężnej rodziny Douglasów i pozostał utrzymać ich wpływy w południowej Szkocji. Jego sukcesy w tym zakresie zachowały wpływy Douglasa aż do powrotu jego starszego brata z niewoli w 1409 roku, kiedy to objął on rolę radnego i został nagrodzony grantem rozległych posiadłości. Najważniejszą z nich była twierdza zamku Abercorn, która stała się jego główną rezydencją do końca życia.