1905 m. Lapkričio mėn. Gruzijos bolševikiai išrinko Staliną kaip vieną iš savo delegatų į bolševikų konferenciją Sankt Peterburge. Atvykęs jis susitiko su Lenino žmona Nadežda Krupskaja, kuri jam pranešė, kad renginio vieta buvo perkelta į Tampere, Suomijos Didžiojoje Kunigaikštystėje. Konferencijoje
Stalinas pirmą kartą susitiko su Leninu. Nors Stalinas giliai gerbė Leniną, jis garsiai nesutinka su Lenino nuomone, kad bolševikų kandidatai turėtų dalyvauti artėjančiuose rinkimuose į Valstybės Dumą; Stalinas laikė parlamentinį procesą laiko švaistymu. 1906 m. Balandžio mėn. Stalinas dalyvavo RSDLP ketvirtame kongrese Stokholme; tai buvo jo pirmoji kelionė už Rusijos imperijos ribų. Konferencijoje RSDLP, tuomet vadovaujama jos menševikų dauguma, sutiko, kad ji nesukurs lėšų ginkluotais apiplėšimais. Leninas ir Stalinas nesutinka su šiuo sprendimu ir vėliau privačiai aptarė, kaip jie galėtų tęsti plėšimus bolševikams.