Stauffenbergo pilnas vardas buvo Claus Philipp Maria Justinian, po kurio sekė kilmingas vardas "Stauffenbergo grafas". Jis gimė Stauffenbergo pilyje Jettingen tarp Ulmo ir Augsburgo, rytinėje Švabų dalyje, tuo metu Bavarijos karalystėje, Vokietijos imperijos dalyje. Jis buvo trečias iš keturių sūnų, įskaitant dvynukus Bertholdą ir Aleksandrą ir jo paties dvynį brolį Konradą Mariją, kuris mirė Jettingenyje dieną po gimimo 1907 m. Lapkričio 16 d. Jo tėvas buvo Alfredas Klemensas Friedrich Philippinianus Justus, paskutinis Oberhofmarschall Württembergo karalystės. Jo motina buvo Caroline Schenk Grauffenberg, gimusi Gräfin von Gräfin von Üllküll-Gyllen, kilmingas vardas Richardas Augustas Grauffenbergas Augustas von Üllküll-Gyllen ir Präfin von Präfin, tuo metu priklausė Bavarijos karalystei.
1907 m. lapkričio 16 d.