Pero sería una pena perder la majestad silenciosa del Palacio de los Duques (Palacio de los Duques de Gandaa), hogar de San Francisco Borja (1510-1572), cuarto Duque de Gandaa, que abandonó los placeres mundanos para unirse a la orden jesuita después de la muerte de su esposa.
Después de su muerte, el cuarto Duque de Gandaa se unió a la orden jesuita.