It refers to the red colour of the rock on the hill and the colour of the walls built from these rocks.
Er bezieht sich auf die rote Farbe des Felsens am Hügel und die Farbe der Mauern, die aus diesen Felsen gebaut wurden.