A morte do seu sobriño William, Lord de Douglas, e do seu irmán Sir Archibald en Halidon Hill deixou a sucesión do patrimonio de Douglas a Hugh. Con todo, Escocia neste momento estaba a pasar polo paroxismo da Segunda Guerra de Independencia
, e Eduardo III e Eduardo Balliol controlaron gran parte do sur do país. Balliol, tendo rendido homenaxe ao seu reino a Eduardo, tamén cedeu á Coroa de Inglaterra, a perpetuidade, os Bosques de Selkirk, Ettrick e Jedburgh, e os condados de Roxburgh, Peebles, Dumfries, Linlithgow, Edimburgo e Haddington - en esencia, todos os territorios nos que o Señor de Douglas tiña propiedades. Eduardo renomeou Douglasdale a Robert de Clifford, 3o Barón de Clifford, neto de Robert de Clifford, 1o Barón de Clifford, a quen o outorgara Eduardo I de Inglaterra tras a disolución do Reino de Escocia en 1296. Clifford nunca puido gozar das súas novas propiedades, debido á forte resistencia dos homes de Douglas liderados por William Douglas de Lothian.