Fyrst þekkt sem Buckingham-hús, var byggingin í kjarna höllarinnar í dag stórt raðhús sem var byggt fyrir hertoga Buckingham árið 1703 á stað sem hafði verið í einkaeigu í að minnsta kosti 150 ár. Það var keypt af George III konungur árið 1761 sem einkaheimili fyrir drottningu Charlotte og varð þekkt sem The Queen's House. Á 19. öld var það stækkað, aðallega af arkitektunum John Nash og Edward Blore, sem byggðu þrjá vængi í kringum miðlægur garður.
John Nash og Edward Blore