Később Koleka fontos képviselő volt a Lushnjë-i kongresszuson (1920. január 28-31.) és felelős volt a kongresszus számos határozatának végrehajtásáért. A Koleka kulcsszerepet játszott a
Vlora háború az olaszok ellen (június-szeptember 1920). Ő volt az albán kormány képviselője a Himara kérdésében 1921-ben. 1922-ben és 1924-ben közmű-miniszterként szolgált Ahmet Zogolli és Shefqet Vërlaci kabinetében.