Sairaala vahingoittui vakavasti kuusi viikkoa sen avaamisen jälkeen, kun vuonna 1971 San Fernandossa tapahtui 6,5 ja 6,7 magnitudein maanjäristys.
(9. helmikuuta 1971), joka aiheutti neljän portaikkunan siipien romahtamisen sekä pysäköintialueen. Viiden kerroksen päärakennuksen ensimmäisessä kerroksessa olevat pylväksetkin melkein hajosivat, ja koko rakennus siirtyi 18 tuumaa keskeltä pohjoiseen, mikä melkein kaatoi koko rakennuksen. Rakennus vahingoittui korjaamattomasti ja purettiin 31. toukokuuta 1973. Seuraavien 16 vuoden ajan Olive View palveli potilaitaan väliaikaisessa laitoksessa MidValley'ssä Van Nuysissa.