Under the second and third earls, Henry and George, the castle was still used as a residence, with the third earl being born at Brougham Castle.
Unter dem zweiten und dritten Earl, Henry und George, diente die Burg immer noch als Residenz, wobei der dritte Earl sogar auf Brougham Castle geboren wurde.