Graf syntyi Bavarian kuningaskunnassa Bergissä, joka sijaitsee Starnbergin järven ympärillä lähellä Müncheniä. Hän oli leipuri Max Grafin ja hänen vaimonsa Therese (syntymäaika Heimrath), maanviljelijän tyttären yhdeksäs lapsi. Vuodesta 1900 lähtien hän kävi valtion koulua Aufkirchenissä, Bergin kunnassa. Kun hänen isänsä kuoli vuonna 1906, hän oppi leipurin ammattinsa ja työskenteli veljelleen Maxille, joka oli ottanut isänsä leipomon.
yhdeksäs lapsi