Dia lahir di kastil Stauffenberg di Jettingen antara Ulm dan Augsburg, di bagian timur Swabia, pada saat itu di Kerajaan Bavaria, bagian dari Kekaisaran Jerman. Dia adalah putra ketiga dari empat putra termasuk kembar Berthold dan Alexander dan saudara kembarnya sendiri Konrad Maria, yang meninggal di Jettingen satu hari setelah lahir pada tanggal 16 November 1907. Ayahnya adalah Alfred Klemens Friedrich Philippinian Just, Oberhofmarschall terakhir dari Kerajaan Württemberg. Ibunya adalah Caroline Schenk Gräfin von Stauffenberg, née Gräfin von Üllküll-Gyllen, putri dari Alfred August Graf von Üllküll-Gyllen dan Valerie Häfin.
Katolik