Hann fæddist í Stauffenberg-kastala í Jettingen milli Ulm og Augsborgar, í austurhluta Svefjar, á þeim tíma í konungsríki Báveríu, hluta þýska keisaradæmisins. Hann var þriðji af fjórum sonum, þar á meðal tvíburunum Berthold og Alexander og eigin tvíburabróður hans Konrad Maria, sem dó í Jettingen einn dag eftir fæðingu 16. nóvember 1907. Faðir hans var Alfred Klemens Friedrich Philippinian Just, síðasti Oberhofmarschall konungsríkis Württemberg. Móðir hans var Caroline Schenk von Stauffenberg, née Gräfin von Üllx-Gyllen, frændur Richard August Graf von Üllx-Gyllen og Präfen von Hessen.
16. nóvember 1907