Va néixer al castell de Stauffenberg de Jettingen entre Ulm i Augsburg, a la part oriental de Suabia, en aquell moment al Regne de Baviera, part de l'Imperi Alemany. Va ser el tercer de quatre fills, incloent els bessons Berthold i Alexander i el seu propi germà bessó Konrad Maria, que va morir a Jettingen un dia després del seu naixement el 16 de novembre de 1907. El seu pare era Alfred Klemens Friedrich Philippinian Just, l'últim Oberhofmarschall del Regne de Württemberg. La seva mare era Caroline Schenk Gräfin von Stauffenberg, née Gräfin von Üllx-Gyllen, la filla de Richard August Graf von Üllx-Gyllen i la filla de Präfin von Präfenberg.
Catòlica