De dood van zijn neef William, heer van Douglas, en broer Sir Archibald bij Halidon Hill liet de opvolging van het erfgoed van Douglas aan Hugh. Maar Schotland was op dat moment bezig met de Tweede Onafhankelijkheidsoorlog.
, en Edward III en Edward Balliol controleerden een groot deel van het zuiden van het land. Balliol, die zijn koninkrijk aan Edward had toegewezen, had ook de bossen van Selkirk, Ettrick en Jedburgh en de graafschappen Roxburgh, Peebles, Dumfries, Linlithgow, Edinburgh en Haddington - in wezen alle gebieden waarin de heer van Douglas eigendom had - voor eeuwig aan de kroon van Engeland afgestaan. Edward had Douglasdale opnieuw benoemd tot Robert de Clifford, 3e Baron de Clifford, kleinzoon van Robert de Clifford, 1e Baron de Clifford, die het door Edward I van Engeland was toegekend na zijn ontbinding van het Koninkrijk van Schotland in 1296. Clifford kon nooit van zijn nieuwe eigendommen genieten, door het stoere verzet van de mannen van Douglas onder leiding van William Douglas van Lothian.