Tsaloumas naceu en Grecia na illa de Leros, unha das illas do Dodecaneso, que estaban entón baixo dominio italiano (de 1912 a 1947). En consecuencia, a súa educación formal foi en italiano. Os seus estudos posteriores foron en Rodas, onde tamén estudou violín. Chegou á maioridade durante a Revolución Italiana.
e a ocupación alemá de Grecia, e participou na resistencia, actuando como mensajero. En Grecia, antes de emigrar a Australia, publicou dúas coleccións de poesía, unha das cales foi impreso coa axuda do escritor inglés Lawrence Durrell, que coñeceu a Tsaloumas en Rodas e quedou impresionado co seu traballo.