Po mokymosi Tak Sun mokykloje (德信學校) (nuo jo namų keliame kvartale, 218 Nathan Road, Kowloon), Lee įstojo į Katalikų La Salle koledžo pradinę mokyklą, kai jam buvo 12 metų. 1956 m. dėl prastos akademinės veiklos ir galbūt prastos elgsenos jis buvo perkeltas į Šv. Pranciškaus Ksavijerio koledžą, kur jam vadovavo brolis Edvardas, mokyklos bokso komandos mokytojas ir treneris. 1958 m. Bruce laimėjo Honkongo mokyklų bokso turnyrą, nugalėdamas ankstesnį čempioną. 1959 m. pavasarį Lee vėl įsitraukė į gatvės kovą, ir buvo pašaukta policija.
Brolis Edvardas