斯大林於1906年7月在塞納基的一場教堂儀式中與卡托·斯瓦尼茲結婚. 在1907年3月, 斯大林已將自己定位為"喬治亞領導的布爾什維克". 他參加了1907年5月至6月在倫敦舉行的第五次俄羅斯國家民主黨代表大會. 斯大林在返回蒂夫利斯後組織了一場大筆貨物到帝國銀行的搶劫,
在1907年6月. 該組織在葉里溫廣場上用槍支和自製炸彈攻擊了車隊. 但他的成員全部逃脫了. 斯大林和他的妻子和兒子在巴庫定居. 俄羅斯的俄國人民黨 (RSDLP) 卻沒有注意到他們.