Pero sería una pena perderse la tranquila majestuosidad del Palacio de los Duques (Palacio de los Duques de Gandaa), hogar de San Francisco Borja (1510-1572), cuarto duque de Gandaa, que abandonó los placeres mundanos para unirse a los jesuitas. orden después de la muerte de su esposa.
Francis Borja llevó una vida de hedonismo después de la muerte de su esposa.