După moartea lui Dominga Atherton în 1890, conacul a fost vândut lui Edgar Mills, fratele lui Darius Ogden Mills de la Banca Californiei, iar în 1900 a fost renumerat de la 1950 la 1990 California St. În 1908 a fost cumpărat de George Chauncey Boardman, un magnat imobiliar și președinte al San Francisco Fire Insurance, a cărui casă a fost distrusă în cutremurul și incendiul din 1906
- Da, domnule. Văduva sa și alți membri ai familiei au locuit acolo până în 1923, când a fost cumpărat de Charles J. Rousseau, un arhitect, care a împărțit-o în 13 apartamente. Văduva lui, Carrie, a trăit acolo cu cincizeci de pisici până la moartea ei în 1974. Se spune că casa este bântuită de până la patru fantome, inclusiv Carrie Rousseau, și este prezentată în tururile cu fantome. Povestea citată în mod obișnuit este că fantoma originală este George H. B. Atherton, care a murit pe mare în Pacificul de Sud în 1887 și al cărui corp a fost trimis înapoi la San Francisco într-un butoi de rom, dar butonul a fost livrat la docuri, nu la casă.