Hänen viimeisenä vuotenaan kuningasperheessä tapahtui skandaali nimeltä Tour de Neslen tapaus.
, jossa Philipin kolme miniää syytettiin aviorikoksesta. Hänen kolme poikaansa olivat peräkkäin Ranskan kuninkaita: Ludvig X, Filip V ja Kaarle IV. Heidän nopeat, peräkkäiset kuolemansa ilman eloonjääneitä omia poikia vaaransivat Ranskan kuninkaallisen talon tulevaisuuden, joka oli siihen saakka vaikuttanut turvalliselta, aiheuttaen perimyskriisin, joka lopulta johti satavuotiseen sotaan (1337-1453).