Graf s-a născut în Berg, în Regatul Bavariei, situat în peisajul pitoresc din jurul lacului Starnberg, lângă München. El a fost al nouălea copil al brutarului Max Graf și al soției sale, Therese (născută Heimrath), fiica unui fermier. Din 1900 a mers la școala de stat din Aufkirchen, în municipalitatea Berg. După ce tatăl său a murit în 1906, a învățat meseria de brutar și a lucrat pentru fratele său Max, care preluase brutaria tatălui lor.
al nouălea copil