Stone urodził się w Los Angeles w rodzinie Żydów. Jego matka, Hilda (urodzona Hess), była scenarzystką filmową, a jego ojciec, John Stone (urodzony Saul Strumwasser), był scenarzystą i producentem wielu niemych filmów, w tym filmów Tom Mix, Buck Jones, Shirley Temple i Charlie Chan. Hilda była bawarską Żydówką z Bambergu, ale urodziła się w Meksyku (jej ojciec uniknął poboru w latach siedemdziesiątych XIX wieku) i mieszkała tam przez pięć lat z rodziną, dopóki wszyscy cudzoziemcy nie zostali wyrzuceni podczas
Rewolucja meksykańska z 1910 roku. Stone ma brata Davida, który był weteranem II wojny światowej, służącym w marynarce wojennej USA.