Idlewild ligt in puin sinds het in april 2003 brandde nadat vandalen het in brand staken. Idlewild werd in augustus 2006 opnieuw beschadigd door een brand op een kleinere veranda. Een aardbeving.
op 23 augustus 2011 beschadigde de schoorstenen in het hoofdgebouw en maakte de twee schoorstenen op de zomerkeuken plat. De bakstenen muren van het huis zijn met stalen balken versterkt en zijn door de aardbeving in principe onbeschadigd gebleven. Er zijn veel theorieën over hoe het huis van de Downmans is afgebrand. Het zijn waarschijnlijk vandalen. Er zijn anderen, zoals dakloze kampeerders die een vuur maken in de zwakste open haard.