Naceu no castelo de Stauffenberg de Jettingen entre Ulm e Augsburgo, na parte oriental de Suabia, naquela época no Reino de Baviera, parte do Imperio Alemán. Foi o terceiro de catro fillos, incluíndo os xemelgos Berthold e Alexander e o seu propio irmán xemelgo Konrad Maria, que morreu en Jettingen un día despois do nacemento o 16 de novembro de 1907. O seu pai era Alfred Klemens Friedrich Philippinian, o último Oberhofmarschall do Reino de Württemberg. A súa nai era Caroline Schenk von Stauffenberg, née Gräfin von Gräfin von Üllküll-Gyllen, a filla de Alfred August Graf von Üllküll-Gyllen von Präfin von Jettingen, entre Ulm e Augsburgo, na parte oriental de Suabia, naquela época no Reino de Baviera, parte do Imperio Alemán. O seu nome era o terceiro de catro fillos, incluíndo os xemelgos Berthold e Alexander e o seu propio irmán xemelgo Konrad Maria, que morreu en Jettingen un día despois do nacemento o 16 de novembro de 1907.
16 de novembro de 1907