Es considera que Biliūnas va tenir dos períodes diferents en la seva carrera literària. La primera abasta els anys 1900-1903, i la segona, 1904-1907. La majoria de les seves obres són contes curts, i sovint tenen inclusions autobiogràfiques que tracten de les seves pròpies experiències de vida personal. En el primer període, un estil realista impregnat d'una forta consciència social és prevalent en els seus escrits. Dues de les seves obres d'aquest període inclouen "Be darbo" (Desocupat) i "Pirmutinis streikas" (Primer vaga). La ideologia política d'una naturalesa socialista impregna aquest període i recorda els primers escrits de Jack London i Theodore Dreiser. Possiblement com a resultat de la seva malaltia debilitant, que en aquell període era inevitablement fatal, Biliūnas va patir una metamorfosi espiritual. Les seves activitats i interessos polítics van ser suplantats per una melancòlia i un apartament del realisme, que ara es manifestaven en els seus escrits del segon període. "Brisiaus galas" (El final de Brisius), és un relat de la mort d'un gos de família amb els pensaments del gos intercallat amb els pensaments del seu propietari. "Ant Uetlibergo giedra" és gairebé un diari de viatge de la seva perspectiva dels Alps suïssos prop de Zuric. "Liūdna pasaka" (A Sad Tale) és la seva obra més llarga i és un drama psicològic que tracta de la revolta de 1863
- No. En aquesta obra, el personatge principal, una dona, és portada a la ruïna com a conseqüència de la revolta, i la seva història és contada des d'un punt de vista psicològic. Durant el període entre 1900 i 1905, Biliūnas va escriure aproximadament quinze poemes, incloent-hi diversos sonets. Aquests sonets van ser influenciats pels seus estudis de Petrarca. La majoria de les revisions crítiques dels seus poemes són de l'opinió que no són comparables amb els seus altres escrits. Biliūnas va escriure diversos articles sobre la crítica literària, que són molt apreciats i es considera que mostren la seva profunditat de percepció sobre els temes que va tractar.