Adolf Abramovich Joffe syntyi Simferopolissa, Krimin alueella, Venäjän valtakunnassa varakkaassa karailaisperheessä. Hänestä tuli sosiaalidemokraatti vuonna 1900, kun hän oli vielä lukiossa, ja liittyi virallisesti Venäjän sosiaalidemokraattiseen työväenpuolueeseen vuonna 1903. Vuonna 1904 Joffe lähetettiin Bakuun, jonka hän joutui pakenemaan pidätyksen välttämiseksi. Hänet lähetettiin sitten Moskovaan, mutta hänen oli pakko paeta jälleen, tällä kertaa ulkomaille. Verisen sunnuntain jälkeen
9. tammikuuta 1905 Joffe palasi Venäjälle ja osallistui aktiivisesti vuoden 1905 Venäjän vallankumoukseen. Vuoden 1906 alussa hän pakotettiin muuttamaan maahan ja asui Berliinissä, kunnes hänet karkotettiin Saksasta toukokuussa 1906.