בתחילת 1940 בית הספר לא הושפע במידה רבה מהפרוץ המלחמה באירופה, ולמרות שצעירים רבים עזבו את האי כדי להצטרף למאמץ המלחמתי, כמה הורים אנגלים שלחו את בניהם ללימודים בבית הספר, מאמינים שהאיים הבריטיים הם המקום הבטוח ביותר באיים הבריטיים. עם זאת, התפתחויות במלחמה במהלך מאי באותה שנה, וההתמוטטות הסופית של ההתנגדות הצרפתית
זה היה אומר שהאי היה בסכנה. האיים של התעלה הוסרו מהצבא מתוך אמונה שזה יגן בצורה הטובה ביותר על חיי תושבי האי, כלומר רבים חששו מהכיבוש הקרוב של האיים על ידי הכוחות הגרמניים. בעוד בתי ספר רבים אחרים בג'רזי השאירו את החלטות הפינוי בידי ההורים, קולג' ויקטוריה החליט לפנות חלק מהבנים ואת המורים שלהם לבריטניה, שם הם נשארו למשך שאר מלחמת העולם השנייה, והשתתפו בבתי ספר ציבוריים אנגליים, כולל בית הספר של שרוזברי ובית הספר של בדפורד. עם זאת, כ-130 נערים וכמה מאסטרים נשארו בג'רזי, והבית הספר המשיך לפעול במהלך הכיבוש.