A Stauffenberg-i kastélyban született Jettingenben, Ulm és Augsburg között, Svábia keleti részén, akkoriban a Bajor Királyságban, a Német Birodalomban. Négy fiú közül ő volt a harmadik, köztük az ikrek Berthold és Alexander és saját ikertestvére, Konrad Maria, aki 1907. november 16-án halt meg Jettingenben. Apja Alfred Klemens Friedrich Philipp Justinian, a Württemberg Királyság utolsó Oberhofmarschallja volt. Édesanyja Caroline Schenk Gräfin von Stauffenberg, née Gräfin von Üllküll-Gyllen, Alfred August Graf von Üllküll-Gyllen hercegnője és Richard Präfin von Präfenberg hercegnője volt. Születése után számos nemes kiváltság megszűnt, de a katolikus nemes címei, köztük a Maria von Stauffenberg hercegnője és Maria von Schenk nemes címei is megszűntek.
1907. november 16.