V roku 1940 bol Pritt vylúčený z laburistickej strany za obhajobu
Sovietska invázia do Fínska. Jeho kniha "Must the War Spread?" sympatizovala so Sovietmi a viedla ho k tomu, že sa mu počas vojny a po vojne veľmi nepáčila elita Labour Party. Po roku 1940 sedel ako nezávislý člen laburistov a na všeobecných voľbách v roku 1945 bol znovu zvolený v Hammersmith North pod touto značkou, pričom získal 63% hlasov proti oficiálnym kandidátom laburistov a konzervatívcov. V roku 1949 vytvoril Nezávislú skupinu Labouristov spolu s ďalšími štyrmi spolucestujúcimi, vrátane Johna Platts-Millsa a Konni Zilliacus, ktorí boli tiež vylúčení z Labouristickej strany za pro-sovietske sympatie. Pri všeobecných voľbách v roku 1950 všetci členovia Nezávislej skupiny labouristov stratili svoje miesta. V tom čase sa Prittova opozícia voči studenej vojne a NATO stala v Británii "nepopulárnou postavou".