اكتب استمرار لهذه الفقرة - بالإضافة إلى ذلك، استمرت العديد من المآسي في ضربه. في عام 1942 ، توفيت زوجته إليزابيت وفي عام 1943 ، تم ترحيل ابنته رايا ، التي ولدت من أم يهودية ، إلى معسكر اعتقال غاجناو من قبل النازيين الذين احتلوا ألزاس. ديبورا لوجاك، والدة أطفالها اللي عايشين في مونتروج بالقرب من باريس، اعتقلت في يوليو 1942 في مداهمة شرطة فرنسا الشريرة في فيلودروم دي هيفر
. كانت محتجزة في معسكر اعتقال درانسي وكان يعتقد أنها قتلت بشكل موجز في معسكر اعتقال أوشفيتز. بعد ما سمع إن الرايخ الثالث كان يدعم الفنانين، أرسلت فيبيج طلب تقاعد إلى غوبلز اللي ما كانش بيهتم أقل بأعمال الرسام. على الرغم من أنه من مواليد ألمانية، إلا أنه لم يكن مقبول بشكل جيد من قبل الإدارة النازية، خاصةً كونه من سكان كورلاند. كان تقريباً مجبر عشان يعرض أعماله خلال الاحتلال العسكري لفرنسا من قبل ألمانيا مقابل وعود غامضة بتاع معاش تقاعدي مش هتحقق أبدًا. بنته رايا نجت بشكل معجز بعد اعتقال نازي قصير. على الرغم من الطلبات المتعددة ، لم يتم منحه الجنسية الفرنسية أبدًا. جرحته حياة صعبة خلال الحربين العالميتين ودراما شخصية، أصبح عمياً تقريباً من عام 1946 ولم يعد يستطيع الرسم أو العمل. بعد الحرب، تم إرساله في عام 1948 إلى ثكنة Schweisguth في Sélestat التي أنشأتها الرعاية الاجتماعية للمحتاجين. سيبقى فيبيج حنينًا لمناظر كورلاند طوال حياته. مات في فقر في سيلستات في 6 فبراير 1953 ، تارك خلفه رايا وعمل فني مهم ولكن غير معترف به. ذكرت أقاربه أنه دفن في مقبرة البروتستانت ، لكن مدينة سيلستات ، التي سميت شارعها باسمه ، ليس لديها سجل لقبرة في سجلاتها.