Ljúktu eftirfarandi setningu: Hann varð einnig fyrir nokkrum hörmungum. Árið 1942 dó eiginkona hans Elisabet og árið 1943 var dóttir hans Raya, fædd af gyðinga móður, flutt í fangabúð Gaggenau af nasistum sem réðu Alsace. Debora Logak, móðir barna sinna sem bjuggu í Montrouge nálægt París, var handtekin í júlí 1942 í illviljaðri árás frönsku lögreglunnar á
Vélodrome d'Hiver. Hún var geymd í fangabúðum í Drancy og var talin hafa verið drepin í fangabúðum í Auschwitz. Eftir að hafa heyrt að Þriðja ríkið styrkti listamenn sendi Fiebig eftirlaunabeiðni til Goebbels sem var ekki síður áhyggjufullur af verkum málarans. Þjóðverji af fæðingu var hann þó ekki vel samþykktur af yfirvöldum nasista, sérstaklega af því að hann var frá Kúrlandi. Hann var næstum neyddur til að sýna verk sín á meðan Þýskaland var í hernámi í Frakklandi í skiptum fyrir óljós fyrirheit um lífeyri sem myndu aldrei rætast. Dóttir hans, Raya, varð fyrir kraftaverki eftir stutta handtöku nasista. Þrátt fyrir margvíslegar beiðnir fékk hann aldrei franska ríkisborgararéttinn. Hann varð nánast blindur frá 1946 og gat ekki lengur málað eða unnið. Eftir stríðið var hann sendur árið 1948 í Schweisguth herbúðirnar í Sélestat sem voru stofnaðar af velferðarstofnuninni fyrir þá sem þurftu á aðstoð að halda. Fiebig varðveitti nostalgíu fyrir landslaginu í Kúrlandi allt sitt líf. Hann lést í fátækt í Sélestat 6. febrúar 1953 og skildi eftir sig Raya og merkilegt en óþekkt listaverk. Fjölskylda hans greindi frá því að hann hefði verið grafinn á kirkjugarði mótmælenda, en Sélestat, þar sem götu er nefnt eftir honum, hefur enga heimild um gröf hans í skráningum sínum.