Ang iyang pagsaka ngadto sa pagmando sa gingharian nagsugod sa makaguba nga kapildihan sa iyang magulang nga igsoong lalaki nga si Archibald Douglas, ika-4 nga Earl ni Douglas, sa Battle of Homildon Hill
sa Septiyembre 1402, diin siya gidakop sa mga Ingles. Si James karon maoy tig-alagad nga pangulo sa pangunang sanga sa gamhanang pamilya ni Douglas ug gipasagdan sa pagpadayon sa ilang impluwensiya sa habagatang Scotland. Ang iyang mga kalamposan niining bahina nagpreserbar sa impluwensiya ni Douglas hangtod sa pagbalik sa iyang magulang nga igsoong lalaki gikan sa pagkabihag sa 1409, nga sa maong panahon iyang giisip ang papel sa konsehal ug gigantihan sa paghatag sa halapad nga mga yuta. Ang labing hinungdanon niini mao ang malig-ong dapit sa Abercorn Castle, nga mahimong iyang pangunang pinuy-anan sa tibuok niyang kinabuhi.