ב-1940 הודח פריט ממפלגת העבודה על כך שהוא הגן על הפלישה הסובייטית לפנלנד.
אני לא יודע. ספרו "האם המלחמה צריכה להתפשט?" סימפתי עם הסובייטים והוביל אותו להיות מאוד לא אהוב על ידי אליטה של מפלגת העבודה במהלך המלחמה ואחרי המלחמה. לאחר 1940, הוא ישב כחבר עצמאי של הלייבור, ובבחירות הכלליות של 1945 נבחר מחדש בהמרסמית' צפון תחת תווית זו, וזכה ב-63% מהקולות נגד מועמדים רשמיים של הלייבור והשמרנים. ב-1949 הוא הקים את קבוצת הלייבור העצמאית עם ארבעה חברים אחרים, כולל ג'ון פלטס-מילס וקוני זיליאקוס, שגם הוא גורש מפלגת הלייבור בשל סימפתיה פרו-סובייטית. בבחירות הכלליות של 1950, כל חברי קבוצת הלייבור העצמאית איבדו את המושבים שלהם. בשלב זה, התנגדותו של פריט למלחמה הקרה ולנאט"ו הפכה אותו ל"דמות לא פופולרית" בבריטניה.