השלים את המשפט הבא: סטאלין התחתן עם קאטו סוואניז' בטקס בכנסייה בסנאקי ביולי 1906. במרץ 1907 היא ילדה בן, יעקוב. עד אותה שנה, על פי ההיסטוריון רוברט סרביס, סטלין יצר את עצמו כ"הבולשביק המוביל של גאורגיה". הוא השתתף בקונגרס החמישי של ה- RSDLP, שנערך בלונדון במאי-יוני 1907. לאחר שחזר לטיפליס, סטלין ארגן את
שוד של משלוח גדול של כסף לבנק האימפריאלי ביוני 1907. כנופייתו ערכה מארב על השיירה החמושה בכיכר ירבאן עם יריות ופצצות תוצרת בית. כ-40 אנשים נהרגו, אבל כל החבורה שלו ברחה בחיים. לאחר השוד, סטלין התיישב בבאקו עם אשתו ובנו. שם, המנשביקים התעמתו עם סטאלין על השוד והצביעו לגרשתו מה-RSDLP, אך הוא לא שם לב אליהם.