Graf var fæddur í Berg í Konungsríki Báveríu, sem er staðsett í myndarlegu landslagi við Starnberg-vatnið nálægt München. Hann var níunda barn bakara Max Graf og eiginkonu hans Therese (fædd Heimrath), dóttur bónda. Frá 1900 fór hann í ríkisskólann í Aufkirchen, í sveitarfélaginu Berg. Eftir að faðir hans dó árið 1906 lærði hann bakaraverkefni og vann fyrir bróður sinn Max, sem hafði yfirtekið bakarí föður þeirra.
níunda barnið