Hän syntyi Jettingenin Stauffenbergin linnassa Ulmin ja Augsburgin välissä, Svabian itäosassa, tuolloin Baijerin kuningaskunnassa, osana Saksan valtakuntaa. Hän oli kolmas neljästä pojasta, mukaan lukien kaksoset Berthold ja Alexander ja hänen oma kaksoisveljensä Konrad Maria, joka kuoli Jettingenissä päivän kuluttua syntymästä 16. marraskuuta 1907. Hänen isänsä oli Alfred Klemens Friedrich Philippinian, Württembergin kuningaskunnan viimeinen Oberhofmarschall. Hänen äitinsä oli Caroline Schenk von Stauffenberg, née Gräfin von Gräfin von Üllküll-Gyllen, Richard August Graf von August Graf von Üllküll-Gyllenin tytär. Hänen edustukselliseen nimekseen annettiin myös useita ylhäisyyttä, mukaan lukien vanhat jalosukuiset tai jalosukuiset nimet, kuten Maria von Stauffenberg, joka oli osa Saksan tasavaltaa.
16. marraskuuta 1907