Най-голямото трайно наследство на Фелипе II е Ел Ескориал, грандиозен дворец и манастир в подножието на Сиера де Гуадарама, северозападно от Мадрид.
Фелипе II не се интересува много от двореца и манастира и прекарва по-голямата част от времето си в града.