Grafas gimė Berge, Bavarijos Karalystėje, esančiame vaizdingame kraštovaizdžio apylinkėse šalia Starnbergo ežero netoli Miuncheno. Jis buvo kepėjo Max Graf ir jo žmonos Therese (gimusi Heimrath), ūkininko dukters, devintasis vaikas. Nuo 1900 m. Jis lankė valstybinę mokyklą Aufkirchene, Bergo savivaldybėje. Po jo tėvo mirties 1906 m. Jis išmoko kepimo verslą ir dirbo savo broliui Maxui, kuris perėmė jų tėvo kepyklą.
devintasis vaikas