Tomás de Almeida, první kardinál patriarcha Lisabonu, získal pozemky od svého bratra, 3. hraběte z Avintes, zničil stávající budovy a postavil přepychový palác z 18. století, který pak předal svému synovci, D. António de Almeida Soares de Portugal, 4. hraběti z Avintes a později 8. místopravci Brazílie a 1. markýzi z Lavradio. Palác postavil německý architekt João Frederico Ludovice, jehož stavba začala v roce 1745. Jeho architektura je jedinečná tím, že jejím ústředním bodem je centrální a přísně symetrické schodiště, ze kterého se rozprostírá zbytek budovy. Slouží jako jeden z mála příkladů občanské barokní architektury během portugalského Johaninova období. Navzdory rozsahu zemětřesení
V důsledku katastrofy, která postihla Lisabon v roce 1755 a která zničila velkou část města, zůstal Lavradio Palace prakticky nedotčený.