La situació a Paderborn era desfavorable, estava enmig d'una gran crisi financera i von Fürstenberg va renunciar a les costoses festes habituals per donar la benvinguda a un nou príncep-bisbe. No obstant això, això li va guanyar la reputació d'un avariç entre els seus súbdits, que van continuar oposant-se a les seves reformes financeres. Va fer intents per reduir els deutes dels dos bisbiscopis, pendents des de la Guerra dels Set Anys, però la Guerra de la Primera Coalició
posar-hi fi ràpidament. La pobra situació financera també va limitar els intents de diversos partits en el príncep-bisbat per promoure el comerç - von Fürstenberg va relaxar lleugerament les restriccions anteriorment estrictes relacionades amb els gremis comercials i va promoure una política forestal més racional, encara que aquesta última va tenir poc impacte. Les seves reformes escolars van tenir un impacte més durador i van ser modelades en part sobre les del seu germà Franz Friedrich Wilhelm von Furstenberg al Príncep-bisbat de Munster. Les reformes de Franz van posar en marxa un nou sistema d'escoles, d'ensenyament i de formació de professors, així com la substitució del llatí pel alemany com a llengua principal en què s'ensenyaren els estudiants.