A fost al treilea din patru fii, inclusiv gemenii Berthold și Alexandru și fratele său geamăn Konrad Maria, care a murit la Jettingen la o zi după naștere la 16 noiembrie 1907. Tatăl său a fost Alfred Klemens Friedrich Philipp Justinian, ultimul Oberhofmarschall al Regatului Württemberg. Mama sa a fost Caroline Schenk von Stauffenberg, născută Gräfin von Gräfin von Üllküll-Gyllen, fiica lui Alfred August Graf von Üllküll-Gyllen și fiica nobililor nobili din Regatul Bavariei, la acea vreme parte a Imperiului German.
Catolică