1907 m. kovo 18 d. Svanidze pagimdė sūnų Iakobą. Gimimo metu dalyvavo ir Jughashvili, ir jo motina. Po Jakovo gimimo Jughashvili tęsė savo darbą, nors kartais su juo žaidė, pavadindamas vaiką "Patsan" (ženkle). Praėjus keliems mėnesiams po Iakobo gimimo, Jughashvili dalyvavo didelės apimties Tbilisi banko apiplėšime
, ir jie trys pabėgo į Baku, kad išvengtų arešto. Jie išsinuomojo "Tartaro namą su žemu stogu Bailovo pusiasalyje" tiesiai prie jūros, už miesto ribų. Svanidze bandė susirasti darbą, bet, turėdamas mažą vaiką, negalėjo to padaryti.