In accordance with his will, the castle passed first to his brother Ambrose, Earl of Warwick, and after the latter's death in 1590, to his illegitimate son, Sir Robert Dudley.
In Übereinstimmung mit seinem Testament wurde die Burg zunächst auf seinen Bruder Ambrose, Earl of Warwick, übertragen und nach dessen Tod im Jahre 1590 schließlich auf seinen unehelichen Sohn, Sir Robert Dudley.