Iš pradžių Vestminsterio rūmai buvo pastatyti vienuolikto amžiaus pradžioje, kai Knutas Didysis pastatė savo karališkąją rezidenciją šiaurinėje Temzės upės pusėje. Vėlesni karaliai pridėjo prie komplekso: Edvardas Išpažintojas pastatė Vestminsterio abatiją; Viljamas Užkariautojas pradėjo statyti naują rūmą; jo sūnus Viljamas Rufas tęsė procesą, kuris buvo pradėtas 1097 m. Vestminsterio salėje; Henrikas III pastatė naujus pastatus iždo, mokesčių ir pajamų surinkimo departamentui, kartu su Karaliaus teismo ir kanclerijos teismo rūmais. 1245 m. Karaliaus sostas buvo visiškai esantis rūmuose, o tai reiškė, kad pastatas buvo anglų administracijos centre. 1295 m. Buvo pastatytas pirmasis Anglijos atstovaujantis rūmai kompleksas: Edvardas Išpažintojas pastatė Vestminsterio abatiją; Viljamas Užkariautojas pradėjo statyti naują rūmą; jo sūnus Viljamas Viljamas I pradėjo statyti naują rūmą, kuris buvo pradėtas pastatyti 1097 m.
Pavadinamosios klasės