Later was Koleka een belangrijke vertegenwoordiger op het Congres van Lushnjë (28 <unk> 31 januari 1920) en was hij verantwoordelijk voor de uitvoering van veel van de besluiten. Koleka speelde ook een belangrijke rol als organisator in de Vlora-oorlog.
tegen de Italianen (juni-september 1920). Hij was de vertegenwoordiger van de Albanese regering met betrekking tot de Himara-kwestie in 1921. Hij was minister van Openbare Werken in 1922 en 1924 respectievelijk in de kabinets van Ahmet Zogolli en Shefqet Vërlaci.