Tämä rakennus oli silloin kaupunginjohtaja Don Francisco Tadeo Diez de Medina y Vidangon asuinpaikka. Myöhemmin se siirtyi Aranan kreivityn omistukseen, myöhemmin La Paz -vallankumouksen aikana.
Se tuli Villaverden markiisien omaisuudeksi. 1800-luvun lopulla ne toimivat kuuluisaksi Gisbert-hotellina. Vuonna 1964 palatsia mukautettiin Bolivian kansallisen taidemuseon asuttamiseksi, säilyttäen sen kaksi pihaa ja kolme tasoa. Pääsisäänkäynti sijaitsee Socabaya-kadulla.