Stallmanin vanhemmat olivat Alice Lippman, koulun opettaja, ja Daniel Stallman, lehdistövälittäjä. Stallmanilla oli vaikea suhde vanhempiinsa, koska hänen isänsä joi ja pahoinpitelyt äitipuolensa. Hän myöhemmin tuli kuvailemaan vanhempiansa "tyranneiksi". Hän oli kiinnostunut tietokoneista nuorena; kun Stallman oli teini-ikäinen kesäleirillä, hän luki IBM 7094 -käsikirjoja. Vuodesta 1967 vuoteen 1969 Stallman osallistui Columbia-yliopiston lauantaiohjelmaan lukiolaisille. Stallman oli myös vapaaehtoinen laboratorioassistentti Rockefellerin biologian osastolla. Vaikka hän oli kiinnostunut matematiikasta ja fysiikasta, hänen professorin Rockefellerin mielestä hän vietti todellisia biologisia aikoja.
Rockefellerin yliopiston biologian laitoksella.