A Dominga Atherton 1890-es halála után a kastélyt Edgar Millsnek adták el, Darius Ogden Mills testvérének, a Bank of California-nak, és 1900-ban 1950-től 1990-ig számolták át a California St-re. 1908-ban megvásárolta George Chauncey Boardman, egy ingatlanmágnát és a San Francisco Tűzbiztosítás elnöke, akinek a háza elpusztult az 1906-os földrengésben és tűzben
- Igen. Az özvegye és más családtagok éltek ott 1923ig, amikor megvásárolta Charles J. Rousseau, egy építész, aki 13 apartmanra osztotta. Az özvegye, Carrie ötven macskával élt ott, egészen 1974-es haláláig. Még mindig részlegesen volt felosztva. A házat állítólag négy szellem kísérti, köztük Carrie Rousseau, és a kísértet túrákon szerepel. A leggyakrabban hivatkozott történet szerint az eredeti szellem George H. B. Atherton, aki 1887-ben a Csendes-óceán déli részén halt meg, és akinek a testét rum hordóban szállították vissza San Franciscóba, de a hordót a dokkokba szállították, nem a házba.