彼の王国の覇権は 兄のアーチバルド・ダグラス 第4伯爵の惨敗で始まった
1402年9月のホミルドンヒルの戦いでイギリス人に捕らえられた. ジェームズは,強力なダグラス家の主要な支部の首長を務め,スコットランド南部での影響力を維持するために残されました. この点での彼の成功は,1409年に兄が捕虜から帰還するまでダグラスの影響力を維持し,その時点で彼はカウンセラーの役割を担い,広大な土地の授与で報われた. その中でも最も重要なものは,アバーコーン城の要塞であり,その要塞は彼の生涯の主な住居となった.