Hän syntyi Jettingenin Stauffenbergin linnassa Ulmin ja Augsburgin välissä, Sveibialaan, joka oli tuolloin Saksan valtakunnan osa. Hän oli kolmas neljästä pojasta, mukaan lukien kaksoset Berthold ja Alexander ja hänen oma kaksoisveljensä Konrad Maria, joka kuoli Jettingenissä päivän kuluttua syntymästään 16. marraskuuta 1907. Hänen isänsä oli Alfred Klemens Friedrich Philipp Justinian, Württembergin kuningaskunnan viimeinen Oberhofmarschall. Hänen äitinsä oli Caroline Schenk Gräfin von Stauffenberg, née Gräfin von Üllx-Gyllen, Richard August Graf von Üllx-Gyllen Präfinin ja Richard August Graf von Präfinin tytär. Hänen edustettujen titteleiden mukaan oli useita, kuten vanhat jalosukuiset tai perinnolliset etuudet, mutta hänen syntymäpäivänään saakka ei annettu mitään lisäoikeuksia, kuten katolinen tai katolinen titteliä.
Katolinen