Tsaloumas werd geboren in Griekenland op het eiland Leros, een van de Dodecanese-eilanden, die toen onder Italiaans bewind stonden (van 1912 tot 1947). Bijgevolg kreeg hij een formele opleiding in het Italiaans. Zijn latere scholing was op Rhodos, waar hij ook viool studeerde. Hij werd meerderjarig tijdens de Italiaanse revolutie.
Hij nam deel aan het verzet, waar hij als koerier optrad. In Griekenland publiceerde hij, voordat hij naar Australië emigreerde, twee dichtbundels, waarvan er een werd gedrukt met de hulp van de Engelse schrijver Lawrence Durrell, die Tsaloumas op Rhodos ontmoette en onder de indruk was van zijn werk.