Hänen perheensä muutti Amerikkaan, kun hän oli lapsi, heprealaisen maahanmuuttajien avustusjärjestön avustuksella. Hän kävi koulua Connecticutissa ja valmistui 1910. Sen sijaan, että nuori Horwitz opiskelisi insinööriä Yale-yliopistossa, hän päätti ystävänsä kanssa avata ruokakaupan Manhattanilla. Yhdysvaltain kansalliskaartin jäsenenä Horwitz kutsuttiin palvelukseen John J. Pershingin johdolla osallistumaan Pancho Villa - retkelle.
- Mitä? Palattuaan hän huomasi, että ruokakauppa oli mennyt konkurssiin. Horwitz palveli sitten ensimmäisen maailmansodan aikana Ranskassa kersanttina ja ratsuväen miehenä Argonnessa.