Borodin werd geboren als Mikhail Markovich Gruzenberg () in een Joods gezin in Yanovichi, Russisch Rijk, nu deel van Vitebsk Regio, Wit-Rusland, op 9 juli 1884. Op zeer jonge leeftijd begon hij als bootsman op de Westelijke Dvina te werken, waarbij hij het stuk van de rivier overstak tussen Vitebsk, Dvinsk en Riga, nu de hoofdstad van Letland. Later verhuisde hij naar Riga, waar hij naar Russischtalige avondscholen ging terwijl hij in de haven van de stad werkte. Hij trad op zestienjarige leeftijd toe tot de Algemene Joodse Arbeidersbond en wisselde in 1903 van trouw aan de bolsjewieken van Vladimir Lenin. Hij werd een nauwe medewerker van Lenin en maakte gebruik van zijn kennis van de Jiddische, Duitse en Letse talen in zijn werk als een bolsjewistische agent in het noordwestelijke deel van het rijk. Halverwege 1904 kreeg hij de opdracht naar Zwitserland te reizen om Lenin te ontmoeten, die in ballingschap was gegaan. Na het bloedige bloedbad van ongewapende demonstranten door tsaristische troepen in Sint-Petersburg op 9 januari 1905, keerde Borodin terug naar Rusland, organiseerde revolutionaire activiteiten in Riga en werd later geselecteerd om de bolsjewistische conferentie bij te wonen.
In Tampere ontmoette hij Joseph Stalin.