Jo paskutiniais metais karališkojoje šeimoje kilo skandalas, žinomas kaip Tour de Nesle afera.
, kuriame trys Filipo dukterys-in-law buvo apkaltinta svetimavimu. Jo trys sūnūs vienas po kito tapo Prancūzijos karaliais: Liudvikas X, Filipas V ir Karolis IV. Jų greita mirtis be savo sūnų, kurie išgyventų, pažeistų Prancūzijos karališkosios giminės ateitį, kuri iki tol atrodė saugi, sukeldama pergalės krizę, kuri galiausiai privestų prie Šimtmečio karo (1337-1453).