O 26 de maio de 1917, Graf casou con Karoline Bretting. Un ano despois, naceu a súa filla Annemarie (13 de xuño de 1918 <unk> 2008), chamada Annamirl. A principios do mesmo ano, Graf foi arrestado por participar nunha folga dos traballadores de municións. Tamén coñeceu á muller que máis tarde se converteu na súa segunda esposa, Mirjam Sachs, a irmá de Manfred George e prima de Nelly Sachs.
Graf foi detido.