השלים את המשפט הבא: בנוסף לכך, המשיכו להכות אותו כמה אסונות. ב-1942 נפטרה אשתו אליזבת וב-1943 גורשה בתו ראיה, שנולדה לאמא יהודייה, למחנה המעצר גגנאו על ידי הנאצים הכבושים באלזס. דבורה לוגאק, אמא לילדיה שגרה במונטרוג' ליד פריז, נעצרה ביולי 1942 בפשיטה של המשטרה הצרפתית
וולודרום ד'יוור. היא הוחזקה במחנה המעצר דרנסי ונחשבה שנהרגה באופן קצוב במחנה המעצר אושוויץ. לאחר ששמע כי הרייך השלישי תמך באמנים, פייביג שלח בקשה לפנסיה לגבלס שלא היה אכפת לו פחות מעבודותיו של הצייר. אף על פי שהוא גרמני מלידה, הוא לא התקבל היטב על ידי הממשל הנאצי, במיוחד כאזרח מקורלנד. הוא כמעט נאלץ להציג את עבודתו במהלך הכיבוש הצבאי של צרפת על ידי גרמניה בתמורה להבטחות מעורפלות של פנסיה שמעולם לא יתממשו. בתו ראיה ניצלה באורח נס לאחר מעצר נאצי קצר. למרות בקשות מרובות, האזרחות הצרפתית לעולם לא תינתן לו. נפגע מחייו הקשים בשתי מלחמות העולם ודרמות אישיות, הוא כמעט עיוור מ 1946 ולא יכול יותר לצייר או לעבוד. לאחר המלחמה, הוא נשלח ב-1948 לבסיס שווייסגוט בסלסטאט שהוקם על ידי הרווחה הסוציאלית עבור הנזקקים. פייביג נשאר נוסטלגי על הנופים של קורלנד כל חייו. הוא נפטר בעוני בסלסטאט ב-6 בפברואר 1953, והותיר אחריו את ראיה ועבודה אמנותית משמעותית אך לא מוכרת. קרובי משפחתו דיווחו כי הוא נקבר בבית הקברות הפרוטסטנטי, אבל בעיר סלסטאט, ששמה של הרחוב נקרא על שמו, אין שום תיעוד של קברו בספרי הרשימות שלו.