Về mặt hành chính, Sở Giáo dục và Đào tạo Thành phố Hồ Chí Minh chỉ quản lý các cơ sở giáo dục từ bậc mầm non tới phổ thông. Các trường đại học, cao đẳng phần lớn trực thuộc Bộ Giáo dục và Đào tạo Việt Nam. Trong năm học 2008–2009, toàn thành phố có 638 cơ sở giáo dục mầm non, 467 trường cấp I, 239 trường cấp II, 81 trường cấp III và 55 trường cấp II, III. Ngoài ra, theo con số từ 1994, Thành phố Hồ Chí Minh còn có 20 trung tâm xóa mù chữ, 139 trung tâm tin học, ngoại ngữ và 12 cơ sở giáo dục đặc biệt. Tổng cộng 1.308 cơ sở giáo dục của thành phố có 1.169 cơ sở công lập và bán công, còn lại là các cơ sở dân lập, tư thục.