Idlewild está en ruínas desde que ardeu en abril de 2003 despois de que os vándalos o incendiaran. Idlewild sufriu de novo danos nun incendio menor no porche en agosto de 2006. Un terremoto.
O 23 de agosto de 2011 danou as chimeneas da casa principal e arrasou as dúas chimeneas da cociña de verán. As paredes de ladrillo da casa foron reforzadas con vigas de aceiro e permaneceron básicamente indemnes polo terremoto. Considerando que a casa permanece en condicións estables, hai moitas teorías sobre como a casa Downman ardeu, o máis probable é que fosen vândalos. Hai outros, como os campistas sen teito que acenden a lume na chimenea máis débil.