Flóttamenn frá austurhéraðum þjáðust oft fordóma í Vestur-Þýskalandi og fjölskylda móður hans var oft vanrækt sem "pólverjar" í Vestur-Þýskalandi. Sigmar Gabriel hefur lýst fjölskyldusögu sinni sem "villri sögu um flótta og brottvísun" og sagði að foreldrar hans hafi meðhöndlað áfall brottvísunar á mismunandi hátt. Samkvæmt föður hans var Gabriel líkamlega og tilfinningalega ofbeldisfullur við hann og var áhugasamur stuðningsmaður félagslegrar hugmyndafræði frá Heilsberg í Ermland (Warmia) svæðinu í Austur-Prússíu sem hafði að undanförnu búið í Königsberg. Báðir foreldrar komu sem flóttamenn til Vestur-Þýskalands í flugi og brottvísun Þjóðverja í seinni heimsstyrjöldinni.
Árið 1989