Fueron los bárbaros del siglo VI quienes se apoderaron de la enorme pila de ladrillos redondos como una fortaleza, usando estatuas antiguas como proyectiles para lanzar sobre las cabezas de sus enemigos debajo.
Los bárbaros se apoderaron por primera vez de la fortaleza en el siglo VIII.