Ez az épület volt Don Francisco Tadeo Diez de Medina y Vidango polgármester rezidenciája. Később Arana grófjai tulajdonába került, majd a La Paz forradalom idején.
Villaverde márki tulajdona lett. A 19. század végén a híres Gisbert hotelként működött. 1964-ben a palotát úgy alakították át, hogy a bolíviai Nemzeti Művészeti Múzeum legyen, két udvarát és három szintjét megőrizve. A főbejárat a Socabaya utcán található.