اكمل الجملة التالية: وبالاضافة الى ذلك، استمر في التعرض لعدة مصائب. في عام 1942، ماتت زوجته إليزابيت وفي عام 1943، تم ترحيل ابنته رايا، التي ولدت من أم يهودية، إلى معسكر اعتقال غاجناو من قبل النازيين الذين احتلوا ألسا. ديبورا لوجاك، ام اطفالها التي تعيش في مونتروج قرب باريس، اعتقلت في يوليو 1942 في مداهمة شرسة للشرطة الفرنسية
فيلودروم ديفير. احتجزت في معسكر درانسي واعتقدت انها قتلت في معسكر اوشفيتز بعد ما سمع ان الرايخ الثالث يدعم الفنانين، ارسل فيبيغ طلب معاش لـ غوبلز الذي لا يهتم بأعمال الرسام. بالرغم من أنه من أصل ألماني، إلا أنه لم يقبل الإدارة النازية بشكل جيد، خاصةً كشخص من أصل كورلاند. كاد يضطر لعرض أعماله خلال الاحتلال العسكري لفرنسا من قبل ألمانيا في مقابل وعود غامضة بتقاعد لن تتحقق أبداً. ابنته رايا نجت بمعجزة بعد اعتقال نازي قصير. بالرغم من طلبات متعددة، لم يتم منحه الجنسية الفرنسية. جرحته حياة صعبة خلال الحربين العالميتين ودراما شخصية، أصبح عميا تقريبا من عام 1946 ولم يعد يستطيع الرسم أو العمل. بعد الحرب، تم إرساله في عام 1948 إلى ثكنة "شوايسغوث" في "سيليستات" التي أنشأها الرعاية الاجتماعية للمحتاجين. فيبيغ سيبقى يحنين لمناظر كورلاند طيلة حياته. مات في فقر في سيلستات في 6 فبراير 1953، وترك خلفه رايا وعمل فني مهم ولكن غير معترف به. أقاربه قالوا إنه دفن في مقبرة البروتستانت، لكن مدينة سيلستات، التي سميت شارعها باسمه، لا يوجد لها سجل لقبره في سجلاتها.