Lee aloitti peruskoulun katolisen La Salle College -yliopiston 12-vuotiaana. Vuonna 1956 huonojen akateemisten tulosten ja mahdollisesti huonon käytöksen vuoksi hänet siirrettiin St. Francis Xavier's College -yliopistoon, jossa hänet opetti veli Edward, koulun nyrkkeilyjoukkueen opettaja ja valmentaja. Vuonna 1958 Bruce voitti Hongkongin koulujen nyrkkeilykilpailun, joka tyrmäsi edellisen mestarin finaalissa. Keväällä 1959 Lee joutui toiseen katutaisteluun, ja poliisi kutsuttiin. Kysymys: Kuka opetti Leeä St. Francis Xavier's College -yliopistossa?
Veljeni Edward.