Í byrjun árs 1940 hafði stríðið í Evrópu ekki haft neina áhrif á skólann og þótt margir ungir Jerseymen hefðu yfirgefið eyjuna til að taka þátt í stríðsátaki, höfðu nokkrir enskir foreldrar sent syni sína í skólann, þar sem þeir töldu að Kanalseyjar væru öruggasti staðurinn á Bretlandseyjum. Hins vegar þróun í stríðinu í maí það ár og endanlegt hrun frönsku andstöðu
Það var ljóst að eyjan var í hættu. Þjóðherjar voru fjarlægðir frá Kanalseyjum í þeirri trú að það myndi best vernda líf eyjabúa, sem þýðir að margir óttuðust yfirvofandi landnám þýskra hersins. Þó að margir aðrir skólar í Jersey skildu ákvörðun um rýmingu í höndum foreldra, ákvað Victoria College að rýmja nokkra drengja og meistara þeirra til Bretlands þar sem þeir dvöldu það sem eftir var af síðari heimsstyrjöldinni og sóttu enska opinbera skóla, þar á meðal Shrewsbury School og Bedford School. Um 130 drengir og nokkrir meistarar voru þó áfram í Jersey og skólinn hélt áfram að starfa undir landnáminu.