El seu pare, Max Graf, va néixer el 19 de setembre de 1900 a Berg, Baviera, a la ciutat de Berg, al Regne de Baviera, situat al pittoresc paisatge al voltant del llac Starnberg, prop de Munic. Va ser el novè fill del panader Max Graf i la seva esposa Therese (née Heimrath), filla d'un pagès. Des de 1900 va anar a l'escola pública a Aufkirchen, al municipi de Berg. Després de la mort del seu pare el 1906, va aprendre el comerç del panader i va treballar per al seu germà Max, que s'havia fet càrrec de la pastisseria del seu pare.
Novè fill