Akelaitis se narodil v blízkosti Marijampolė do rodiny rolníků. Jeho otec se zúčastnil povstání v roce 1831 a byl odsouzen k exilu na Sibiř, kde zemřel. Akelaitisův nevlastní dědeček bojoval v bitvě u Maciejowice během povstání Kościuszko
zatímco bratr jeho dědečka sloužil v polských legiích v Itálii a bojoval v bitvě u Somosierry ve Španělsku během napoleonských válek. Osiřelý Akelaitis vyrůstal se svými prarodiči a příběhy o těchto kampaních. Jeho matka získala práci hospodyně v Marijampolě, kde Akelaitis absolvoval soukromé lekce u místního kněze a organisty v Sasnavě. Poté se zapsal na základní školu v Marijampolě, kterou absolvoval ve věku 17 let. Pokračoval ve studiu na čtyřleté střední škole v Marijampolě, kde byl nepřetržitě zařazen mezi nejlepší studenty, ale kolem roku 1850 skončil bez absolvování. Pokračoval v samostatném studiu několika jazyků. Kromě rodné litevské se naučil polštinu, ruštinu, němčinu, francouzštinu, latinštinu, trochu řečtinu, sanskrt a hebrejštinu.