Karl Marx sinh ra trong một gia đình gốc Do Thái tại Trier (còn gọi là Trèves) thuộc tỉnh Rhénanie của Vương quốc Phổ. Ông ngoại của Marx là một giáo sĩ rabi Hà Lan, trong khi họ nội của ông đã có nhiều người làm rabi ở Trier kể từ năm 1772. Cha của ông, Heinrich Marx, hồi nhỏ tên là Herschel Mordechai, là người đầu tiên trong dòng họ tiếp nhận nền giáo dục thế tục, trở thành một luật sư và có cuộc sống trung lưu khá giàu có khi gia đình ông làm chủ nhiều vườn nho Moselle. Trước khi con trai mình ra đời, Herschel đã cải đạo sang Lutheran để thoát khỏi các sức ép của chủ nghĩa bài Do Thái. Tuổi thơ của Marx được tiếp xúc với nhiều học giả, họa sĩ thường xuyên lui tới gia đình ông. Năm 1830, Karl Marx lên 12 tuổi, ông trở thành học sinh của trường trung học Trier. Là một học sinh giỏi, ông có sở trường ở những môn học cần có tính chất độc lập sáng tạo. Ông cũng học tốt môn Toán.