Jo šeima emigravo į Ameriką, kai jis buvo vaikas, su hebrajų imigrantų pagalbos draugijos pagalba. Jis mokėsi Konektikute, baigė mokyklą 1910 metais. Užuot studijavo inžineriją Jeilo universitete, jaunas Horvitzas su draugu nusprendė įkurti maisto parduotuvę Manhetene. Kaip Jungtinių Valstijų Nacionalinės gvardijos narys, Horwitzas buvo pašauktas tarnauti John J. Pershing, kad dalyvautų Pancho Villa ekspedicijoje.
- Taip. Grįžęs jis rado, kad parduotuvė bankrutuoja. Po to Horwitzas tarnavo Pirmojo pasaulinio karo metu Prancūzijoje kaip seržantas ir kaip kavalerijos kariuomenės vadas Argonnoje.