Ross opisał posiadłości Cliffordów, skoncentrowane na Cumberland, Westmorland, Durham i Yorkshire, jako "cenną i strategicznie ważną na niespokojnej północy". Dziewiąty baron nigdy nie był tak bogaty jak niektóre sąsiednie rodziny, takie jak Darcy's. W 1461 r. jego syn nie mógł odziedziczyć tronu, ale w 1470 r. król Edward został zmuszony do odejścia z tronu i wygnania, a Henryk VI powrócił na tron. Hrabia Warwick, teraz sprzymierzony z domem Lancasterów przeciwko Edwardowi, był odpowiedzialny za rząd, a jego brat, John, markiz Montagu, otrzymał opiekę nad Henrykiem Cliffordem podczas jego nieletności. Summerson zakłada, że to była szansa dla Clifforda na odzyskanie dziedzictwa. Prawdopodobnie nie było wystarczająco dużo czasu, aby wyrazić swoje roszczenie, ponieważ obaj Neville'owie zginęli w bitwie pod Barnet
14 kwietnia następnego roku. Zwycięstwo Edwarda IV w bitwie pod Barnetem i w bitwie pod Tewkesbury kilka tygodni później zniszczyło resztki oporu Lancasterów i przywróciło Edwarda na tron. Pomimo powiązań Clifforda z Lancasterem, wydaje się, że nigdy nie był w niebezpieczeństwie w tym czasie, ponieważ 16 marca 1472 roku Edward udzielił mu królewskiego ułaskawienia. Było to pomimo próby brata Clifforda, Thomasa, by wywołać - choć nieudane - powstanie pro-Lancastrian w Hartlepool. Henryk Clifford otrzymał prawo do dziedziczenia majątków swojego dziadka ze strony matki, Henryka Bromfleta, lorda Vescy, który zmarł w 1469 roku, ale jeszcze nie jego dziedzictwa Clifford. Ponadto, ponieważ jego matka wciąż żyła, jedna trzecia jego dziedzictwa - jej posagu - pozostała poza jego kontrolą aż do jej śmierci w 1493 roku.