Stauffenberg feleségül vette Nina Freiin von Lerchenfeld-et 1933. szeptember 26-án Bambergben. Öt gyermekük született: Berthold; Heimeran; Franz-Ludwig; Valerie; és Konstanze, aki az Oderon, Frankfurton született Stauffenberg kivégzése után. Berthold, Heimeran, Franz-Ludwig és Valerie, akik nem tudtak az apjuk tettéről, a háború hátralévő részében nevelőotthonba kerültek, és új vezetéknevet kellett használniuk, mivel Stauffenberg tabuvá vált. Nina 2006. április 2-án 92 évesen halt meg Kirchlauter közelében Bambergben, és ott temették el április 8-án.
öt