डिसेंबर १९०४ मध्ये रामजी सकपाळ सहपरिवार मुंबईला आले व तेथील लोअर परळ भागातील "डबक चाळ" नावाच्या एका इमारतीच्या एका खोलीत राहू लागले. मुंबईमधे आल्यावर भीमराव हे एल्फिन्स्टन रस्त्यावरील सरकारी शाळेत जाऊ लागले, एल्फिन्स्टन हायस्कूलमधे जाणारे ते पहिले अस्पृश्य विद्यार्थी होते. कबीर पंथीय असलेल्या रामजींनी मुलांना हिंदू साहित्याची ओळख करून दिली. इतर जातीतील लोकांच्या विरोधामुळे रामजींनी मुलांना सरकारी शाळेत शिकवण्यासाठी आपल्या लष्करातील पदाचा वापर केला. शाळेत प्रवेश मिळाला तरी भीमरावांना इतर विद्यार्थ्यांपासून वेगळे बसावे लागे आणि शिक्षकांचे साहाय्य मिळत नसे. जेव्हा त्यांना तहान लागत असे, तेव्हा शाळेतील पाणी पिण्याच्या भांड्याला किंवा पेल्याला स्पर्श करण्याची त्यांना परवानगी नव्हती. तेव्हा एखादा उच्च जातीतील व्यक्ती उंचीवरून त्यांच्या ओंजळीवर पाणी ओतत असे. आंबेडकरांसाठी हे कार्य सहसा शालेय शिपायाद्वारे केले जात असे आणि जर शिपाई उपलब्ध नसेल तर त्यांना दिवसभर पाण्याविनाच रहावे लागत असे; नंतर त्यांनी आपल्या लेखनात या घटनेचे "शिपाई नाही, तर पाणी नाही" असे वर्णन केले आहे. शाळेत असतानाच इ.स. १९०६ मध्ये १४-१५ वर्षीय भीमरावांचे लग्न दापोलीच्या भिकू वलंगकर यांची ९-१० वर्षीय कन्या रामीबाई उर्फ रमाबाई यांच्याशी झाले. एल्फिन्स्टन हायस्कूलमध्ये शिकत असताना भीमरावांना वर्गातील स्पृश्य जातींच्या मुलांपासून दूर बसावे लागे. हायस्कूलमधील अनेक शिक्षक त्यांच्याशी तिरस्काराने वागत असत. आंबेडकर हे आपल्या विद्यार्थी जीवनात दररोज १८ तास अभ्यास करत असत. इ.स. १९०७ साली भीमराव एल्फिन्स्टन हायस्कूलमध्ये मॅट्रिकची परीक्षा यशस्वीरीत्या उत्तीर्ण झाले. ही परीक्षा उत्तीर्ण झाल्यावर भीमराव आंबेडकरांच्या ज्ञातिबांधवांनी कृष्णाजी अर्जुन केळुसकर गुरूजी यांच्या अध्यक्षेखाली सभा भरवून भिवा रामजी आंबेडकरांचे कौतुक केले. एखाद्या अस्पृश्य मुलाने असे यश मिळविणे एवढे दुर्मिळ होते की, त्यांचे अभिनंदन करण्यासाठी तेव्हा एक जाहीर सभा भरवण्यात आली होती. यावेळी केळुसकर गुरुजींनी स्वतः लिहिलेल्या मराठी बुद्धचरित्राची एक प्रत भीमरावांना भेट म्हणून दिली. हे पुस्तक वाचल्यानंतर त्यांना पहिल्यांदाच बुद्धांच्या शिकवणुकींची माहिती मिळाली व ते बुद्धाप्रती आकर्षित झाले. आर्थिक अडचणीमुळे रामजी सकपाळ भीमरावांना महाविद्यालयीन शिक्षण देऊ शकतील, अशी परिस्थिती नव्हती. त्यामुळे केळुसकर गुरुजींनी मुंबईमध्ये महाराज सयाजीराव गायकवाड यांचेशी भीमरावांची भेट घालून दिली. भीमरावांची हुशारी पाहून महाविद्यालयात शिक्षण घेण्यासाठी महाराजांनी त्यांना दरमहा रु.२५ ची शिष्यवृत्ती देण्याचे मंजूर केले. त्यानंतर ३ जानेवारी, इ.स. १९०८ रोजी भीमरावांनी एल्फिन्स्टन महाविद्यालयात प्रवेश घेतला. पुढे चार वर्षांनी इ.स. १९१२ मध्ये त्यांनी मुंबई विद्यापीठाची राज्यशास्त्र आणि अर्थशास्त्र विषय घेऊन बी.ए. ची पदवी संपादन केली आणि बडोदा संस्थानात नेकरीसाठी रूजू झाले. याच वर्षी १२ जानेवारी २०१२ रोजी त्यांना पहिला मुलगा यशवंत झाला. त्याच सुमारात २ फेब्रुवारी, इ.स. १९१३ रोजी मुंबईमध्ये त्यांचे वडील रामजींचे आजाराने निधन झाले. पुढे चार महिन्यांनी बडोदा नरेशांकडून प्रति महिने साडे अकरा पाऊंड शिष्यवृत्ती घेऊन अमेरिकेतील कोलंबिया विद्यापीठात उच्च शिक्षण घेण्यासाठी त्यांनी प्रयाण केले.

अस्पृश्यतेचा विरोध
गोलमेज परिषद
सुरुवातीचे शिक्षण
धर्मांतराची घोषणा