The castle passed from the family when William Grey was captured by the French at the end of the defence of Guînes in 1557, and was forced to sell the castle to raise funds for his ransom.
Die Familie verlor die Burg, als William Grey von den Franzosen in der Endphase der Verteidigung der Stadt Guînes 1557 gefangen genommen wurde und seine Burg verkaufen musste, um das Lösegeld aufbringen zu können.