Pada tanggal 26 Mei 1917, Graf menikah dengan Karoline Bretting. Setahun kemudian, anak mereka Annemarie (13 Juni 1918 <unk> 2008), yang disebut Annamirl, lahir. Pada awal tahun yang sama, Graf ditangkap karena berpartisipasi dalam pemogokan pekerja amunisi. Dia juga bertemu dengan wanita yang kemudian menjadi istri keduanya, Mirjam Sachs, saudara perempuan Manfred George dan sepupu Nelly Sachs.
Graf ditangkap