In 1052 the original castle was destroyed either on the orders of Earl Godwin or by the Welsh in a raid.
I 1052 blev den oprindeligt fæstning ødelagt, enten på ordre fra Jarl Godwin eller af walisere på et togt.