In 1940 werd Pritt uit de Arbeiderspartij gezet voor het verdedigen van de Sovjet-invasie van Finland.
Ik weet het. Zijn boek "Must the War Spread?" sympathiseerde met de Sovjets en leidde ertoe dat hij tijdens en na de oorlog zeer niet geliefd werd door de elite van de Labour Party. Na 1940 zat hij als onafhankelijk Labour-lid, en bij de algemene verkiezingen van 1945 werd hij herkozen in Hammersmith North onder dat label en kreeg een aandeel van 63% van de stemmen tegen officiële Labour- en Conservatieve kandidaten. In 1949 richtte hij de Labour Independent Group op met vier andere reisgenoten, waaronder John Platts-Mills en Konni Zilliacus, die ook uit de Labour Party waren gezet wegens pro-Sovjet sympathieën. Bij de algemene verkiezingen van 1950 verloren alle leden van de Labour Independent Group hun zetels. Tegen die tijd had Pritt's verzet tegen de Koude Oorlog en de NAVO hem in Groot-Brittannië tot een "onpopulaire figuur" gemaakt.