Tačiau praėjus 26 metams po perkėlimo šv. Ignacas buvo visiškai sunaikintas. Nors mokykla išgyveno 1906 metų žemės drebėjimą
Vėlesni gaisrai sunaikino mokyklą ir bažnyčią, tačiau padaryta tik vidutinio dydžio žala, todėl SI buvo priversta surasti naują vietą netoli "Golden Gate" parko, skubiai pastatytą "laikiną" medinį pastatą, mylint vadinamą "Kailės fabriku", kuriame mokykla buvo pastatyta daugiau nei 20 metų, nuo 1906 iki 1929 m.