La palaco estis konstruita por la Duko de Buckingham en 1703 sur loko kiu estis en privata posedo dum almenaŭ 150 jaroj. Ĝi estis akirita de reĝo Georgo la 3-a en 1761 kiel privata loĝejo por reĝino Karlota kaj iĝis konata kiel La Reĝina Domo. Dum la 19-a jarcento ĝi estis pligrandigita, ĉefe de arkitektoj John Nash kaj Edward Blore, kiuj konstruis tri flugilojn ĉirkaŭ centra korto.
John Nash kaj Edward Blore