وُلِدَ جراف في بيرج في مملكة بافاريا، والتي تقع في المناظر الطبيعية الخلابة حول بحيرة ستارنبرج بالقرب من ميونخ. كان الطفل التاسع لخباز ماكس جراف وزوجته تيريزا (née Heimrath) ، ابنة مزارع. من سنة 1900 فصاعداً، ذهب إلى المدرسة الحكومية في أوفكيرشن، في بلدية بيرج. بعد وفاة والده في عام 1906، تعلمت مهنة الخباز وعملت لأخيها ماكس، الذي تولى مخبز والدهما.
الولد التاسع