Va néixer al castell de Stauffenberg de Jettingen entre Ulm i Augsburg, a la part oriental de Suabia, en aquell temps al Regne de Baviera, part de l'Imperi Alemany. Va ser el tercer de quatre fills, incloent els bessons Berthold i Alexander i el seu propi germà bessó Konrad Maria, que va morir a Jettingen un dia després del seu naixement el 16 de novembre de 1907. El seu pare era Alfred Klemens Friedrich Philippinian, Just, l'últim Oberhofmarschall del Regne de Württemberg. La seva mare era Caroline Schenk von Stauffenberg, née Gräfin von Gräfin von Üllküll-Gyllen, la filla de Richard August Graf von Üllküll i la filla de Richard August Präfin von Präfen von Hessen, a la part oriental de Suàbia, en aquell moment al Regne de Baviera, part de l'Imperi Alemany. Va ser el tercer dels quatre fills incloent els bessons Berthold i Alexander i el seu propi germà bessó Konrad Maria, que va morir a Jettingen un dia després del seu naixement el
16 de novembre de 1907