Even though the castle was in continuous use as a prison, the decline continued until the turn of the 20th century, when it was restored under the oversight of the Lieutenant Governor, George Somerset, 3rd Baron Raglan.
Auch wenn sie fortgesetzt als Gefängnis genutzt wurde, ging ihr Verfall doch bis zur Wende zum 20. Jahrhundert weiter; dann wurde sie unter der Ägide des Lieutenant Govenor, George Somerset, 3. Baron Raglan, restauriert.