Vėliau Koleka buvo svarbus atstovas Lushnje kongrese (1920 m. sausio 28-31 d.) ir buvo atsakingas už daugelio jo sprendimų įgyvendinimą. Koleka taip pat vaidino svarbų vaidmenį kaip Vloros karo organizatorius.
prieš italus (1920 m. birželio-rugsėjo mėn.). 1921 m. jis buvo Albanijos vyriausybės atstovas Himaros klausimu. 1922 m. ir 1924 m. dirbo viešųjų darbų ministru (atitinkamai Ahmet Zogolli ir Shefqet Vërlaci kabinetuose).