ステリンは1906年7月にセナキの教会でカト・スヴァニゼと結婚した. 1907年3月,彼女はヤコフという息子を産んだ. 歴史家ロバート・サーヴィスによれば,その年までにスターリンは"グルジアの有力なボルシェヴィキ"として確立していた. 彼は1907年5月~6月にロンドンで開催された第5回RSDLP会議に出席した. スターリンはチフリスに戻った後,
1907年6月に 帝国銀行に大量の貨幣を 盗んだ 彼のギャングはエレヴァン広場で銃撃と自作爆弾で武装コンボイを待ち伏せした. 約40人が殺されたが,彼のギャングは全員生き延びた. 襲撃後,スターリンは妻と息子と共にバクーに定住した. そこでメンシェビキは,ストリンに強盗事件について対峙し,彼をRSDLPから追放するために投票したが,彼は彼らに注意を払わなかった.