Stallman estis naskita la 16-an de marto 1953, en Novjorko, en familio de juda heredaĵo. Liaj gepatroj estas Alice Lippman, lernejinstruisto, kaj Daniel Stallman, presisto. Stallman havis malfacilan rilaton kun siaj gepatroj, ĉar lia patro havis drinkomanieron kaj vorte misuzis sian duonpatrinon. Li poste priskribis siajn gepatrojn kiel "tiranoj". Li interesiĝis pri komputiloj en juna aĝo; kiam Stallman estis antaŭ-adoleska en somera tendaro, li legis manlibrojn por la IBM 7094.
la biologia fako de la Universitato Rockefeller.