મધ્ય યુગમાં, બકિંગહામ પેલેસનું સ્થળ મેનોર ઓફ એબરી (ઇયા તરીકે પણ ઓળખાય છે)ની મિલકતનો એક ભાગ હતું. આ સ્થળની છિદ્રાળ અને પોચી જમીનને ટાયબર્ન નદીનું પાણી સિંચતું હતું જે હજુ પણ આંગણા અને મહેલના દક્ષિણ ભાગ નીચેથી થઇને વહે છે. આ નદીને જ્યાં ગાયની પીઠ પર બેસીને પાર કરી શકાય તેવા છીછરાં સ્તરે વહે છે તે સ્થળે આઈ ક્રોસ ગામ વિકસ્યું. આ સ્થળની માલિકીમાં ઘણીવાર પરિવર્તન થયા; જેના માલિકોમાં સૅક્સન સમયગાળાના ઉત્તરાર્ધમાં આવેલા એડવર્ડ ધ કન્ફેસર અને તેની રાણી કેનસોર્ટ એડિથ ઓફ વૅસેક્સ તથા નોર્મન વિજય બાદ આવેલા વિલિયમ ધ કોન્કરરનો સમાવેશ થાય છે. વિલિયમે આ સ્થલ જ્યોફ્રે દ મેન્દેવિલને આપ્યું, જેણે તેને વૅસ્ટમિન્સ્ટર એબીના સાધુઓને વારસામાં આપી દીધું.

1531માં, હેનરી VIIIએ એટન કૉલેજ પાસેથી સેંટ જૅમ્સની (બાદમાં સેંટ જેમ્સનો મહેલ) હોસ્પિટલને હસ્તગત કરી, અને 1536માં તેણે વૅસ્ટમિન્સ્ટર એબી પાસેથી મેનોર ઓફ એબરી મેળવ્યું. લગભગ 500 વર્ષ પૂર્વે વિલિયમ ધ કોન્કરરે આ સ્થળ અન્યને આપી દીધું હતું ત્યારપછી સૌપ્રથમવાર બકિંગહામ પેલેસનું સ્થળ ફરીથી તેની માલિકીમાં થયેલા ફેરફારોને લીધે શાહી પરિવાર પાસે આવ્યું. 

ઘણાં માલિકોએ આ સ્થળને તેના શાહી માલિકો પાસેથી ભાડે મેળવ્યું. 17મી સદી દરમિયાન કોઇપણ પ્રકારના બંધન વિનાની મુક્ત માલિકી એ આવેશમય અનુમાનનો વિષય જ હતો. તે સમય સુધીમાં, જૂનું આઇ ક્રોસ ગામ અવનતિની ગર્તામાં સરી પડ્યું હતું, અને આ વિસ્તારમાં મોટેભાગે પડતર જમીન હતી. નાણાંની જરૂરિયાતમાં, જેમ્સ Iએ તાજની મુક્ત માલિકીની આ જમીનનો કેટલોક હિસ્સો વેચી નાખ્યો પરંતુ આ સ્થળનો કેટલોક હિસ્સો પોતાની પાસે રાખ્યો, જેના ઉપર તેણે રેશમી કાપડના ઉત્પાદન માટે શેતૂરનો બગીચો સ્થાપ્યો. (આ બગીચો વર્તમાન મહેલના ઉત્તરપશ્ચિમ ખૂણે છે) "એનાર્કિયા એન્ગ્લિકાના" (1649)માં ક્લેમેન્ટ વૉકર એસ. જેમ્સના સ્થળે શેતૂરના બગીચામાં નવા બનાવવામાં આવેલા સોડોમ અને સ્પિન્ટ્રીઝનો ઉલ્લેખ કર્યો હતો; આના પરથી એવો સંકેત મળે છે કે આ એક ભોગવિલાસનું સ્થળ રહેલું હોઇ શકે છે. આખરે 17મી સદીના ઉત્તરાર્ધમાં સ્થળની મુક્ત માલિકી સંપત્તિવાન વ્યક્તિ હ્યુ ઔડલી પાસેથી શાહી સ્ત્રી વારસદાર મૅરી ડેવિયસની પાસે આવી. 

બગીચો, શાહી ઘોડાર અને રાજમાર્ગ
દરબારના સમારંભો
સ્થળ