اكتب استمرار لهذه الفقرة - وبالاضافه الى ذلك، العديد من المآسي واصلت ضرب له. في 1942 ماتت زوجته اليزابيت وفي 1943 ابنته رايا، وُلِدَت من أم يهودية، وُرِدَتْ إلى معسكر الاعتقال غاجيناو من قبل النازيين الذين احتلوا اليزاس. ديبورا لوجاك، ام اطفالها التي تعيش في مونتروج بالقرب من باريس، اعتقلت في يوليو 1942 في غارة شرطة فرنسا الشريرة في فيلودروم ديفير
 احتُجِزَتْ في معسكر درانسي واعتُقِدَ أنّها قُتِلتَ في معسكر أوشفيتز. بعد ان سمع ان الرايخ الثالث يدعم الفنانين، ارسل فيبيغ طلب معاش معاش لـ غوبلز الذي لا يهتم اقل عن اعمال الرسام. وبالرغم من انه من المانيه بالولادة، لم تقبل الإدارة النازية بشكل جيد، خصوصاً كونه من مواطني كورلاند. كاد يضطر لاظهار عمله خلال الاحتلال العسكري لفرنسا من قبل المانيا مقابل وعود غامضة بالمعاش التقاعدي التي لن تتحقق ابدا. ابنته رايا نجت بمعجزة بعد اعتقال نازي قصير. بالرغم من الطلبات المتعددة، لم تُمنح له الجنسية الفرنسية ابداً. جُرِحَ بِحَيَاةٍ صَعْبَةٍ خلال الحربين العالميتين ودراما شخصية، أصبح عمياً تقريباً من عام 1946 ولم يعد يستطيع الرسم أو العمل. بعد الحرب، ارسل في 1948 الى ثكنات شوايسجوت في سيلستات التي انشأتها الرفاه الاجتماعي للمحتاجين. فايبيق سيبقى يحنين لمناظر كورلاند طيلة حياته. مَاتَ فِي الفَقْرِ في سِلِستَات في 6 فبراير 1953, وَتَرَكَ وَرَاءَهُ رَايَا وَعَمَلًا فَنّيًا مُهِمًّا لَكِنْ لَمْ يُعْرَفْ. ذَكَرَ اقربائه انه دُفِنَ في مقبرة البروتستانت ، لكن مدينة سيلستات ، التي سميت شارعها باسمه ، ليس لديها سجل عن قبره في سجلاتها.