Stallman te fèt 16 mas 1953, nan New York City, nan yon fanmi ki gen eritaj jwif. Paran li yo se Alice Lippman, yon pwofesè lekòl, ak Daniel Stallman, yon koutye enprime laprès. Stallman te gen yon relasyon difisil ak paran li yo, kòm papa l 'te gen yon abitid bwè ak vèbal abize matris li. Li pita te vin dekri paran li kòm "tiran". Li te enterese nan òdinatè nan yon laj jèn; lè Stallman te yon pre-teen nan yon kan ete, li manyèl pou IBM 7094.
depatman biyoloji nan Inivèsite Rockefeller