Li naskiĝis en la kastelo Stauffenberg de Jettingen inter Ulm kaj Augsburg, en la orienta parto de Ŝvabio, tiutempe en la Regno de Bavario, parto de la Germana Imperio. Li estis la tria el kvar filoj inkluzive de la ĝemeloj Berthold kaj Alexander kaj sia propra ĝemela frato Konrad Maria, kiu mortis en Jettingen unu tagon post naskiĝo la 16an de novembro 1907. Lia patro estis Alfred Klemens Friedrich Philippinian, la lasta Oberhofmarschall de la Regno de Württemberg. Lia patrino estis Caroline Schenkräu von Stauffenberg, née Gräfin von Üllküll-Gyllen, la nobla filino de Alfred August Graf von Üllküll-Gyllen kaj Valerie Häfin.
16a de novembro 1907