বাইবেল অনুযায়ী, খ্রিষ্টপূর্ব ১১শ শতকে রাজা দাউদের জেরুজালেম জয়ের পূর্বে শহরটি জেবুসিয়দের বাসস্থান ছিল। বাইবেলের বর্ণনা মতে এই শহর মজবুত নগরপ্রাচীর দ্বারা সুরক্ষিত ছিল। রাজা দাউদ কর্তৃক শাসিত শহর যেটি দাউদের শহর বলে পরিচিত তা পুরনো শহরের দেয়ালের দক্ষিণ পশ্চিমে অবস্থিত। তার পুত্র রাজা সুলায়মানের শহরের দেয়াল সম্প্রসারিত করেন। এরপর ৪৪০ খ্রিষ্টপূর্বের দিকে পারস্য আমলে নেহেমিয়া ব্যবিলন থেকে ফিরে আসেন ও এর পুনর্নির্মাণ করেন। ৪১-৪৪ খ্রিষ্টাব্দে জুডিয়ার রাজা আগ্রিপ্পা “তৃতীয় দেয়াল” নামক নতুন নগরপ্রাচীর নির্মাণ করেন।

৭ম শতকে (৬৩৭ সালে) খলিফা উমর ইবনুল খাত্তাবের শাসনামলে মুসলিমরা জেরুজালেম জয় করে। খলিফা উমর একে মুসলিম সাম্রাজ্যের অন্তর্ভুক্ত করে নেন। তিনি শহরের বাসিন্দাদের নিরাপত্তার প্রতিশ্রুতি দিয়ে চুক্তিবদ্ধ হন। জেরুজালেম অবরোধের পর সফ্রোনিয়াস খলিফা উমরকে স্বাগতম জানান। কারণ জেরুজালেমের চার্চের কাছে পরিচিত বাইবেলের একটি ভবিষ্যতবাণীতে “একজন দরিদ্র কিন্তু ন্যায়পরায়ণ ও শক্তিশালী ব্যক্তি” জেরুজালেমের খ্রিষ্টানদের রক্ষক ও মিত্র হিসেবে আবির্ভূত হবেন – এমন উল্লেখ ছিল। সফ্রোনিয়াস বিশ্বাস করতেন যে সাদাসিধে জীবনযাপনকারী বীর যোদ্ধা উমর এই ভবিষ্যতবাণীকে পূর্ণ করেছেন। আলেক্সান্দ্রিয়ার পেট্রিয়ার্ক ইউটিকিয়াসের লেখা, উমর চার্চ অব দ্য হলি সেপালচার পরিদর্শন করেন ও উঠোনে বসেন। নামাজের সময় হলে তিনি চার্চের বাইরে গিয়ে নামাজ আদায় করেন যাতে পরবর্তীতে কেউ তার নামাজের কারণকে ব্যবহার করে কেউ পরবর্তীকালে এই চার্চকে মসজিদে রূপান্তর না করে। তিনি এও উল্লেখ করেন যে উমর একটি আদেশনামা লিখে তা পেট্রিয়ার্ককে হস্তান্তর করে। এতে উক্ত স্থানে মুসলিমদের প্রার্থনা করতে নিষেধ করা হয় বলে ইউটিকিয়াস উল্লেখ করেন। ১০৯৯ সালে প্রথম ক্রুসেডের সময় ইউরোপীয় খ্রিষ্টান সেনাবাহিনী জেরুজালেম দখল করে এবং ১১৮৭ সালের ২ অক্টোবর সুলতান সালাহউদ্দিন আইয়ুবী কর্তৃক তা বিজিত হওয়ার আগ পর্যন্ত এতে তাদের কর্তৃত্ব বহাল ছিল। তিনি ইহুদিদেরকে শহরে বসবাসের অনুমতি দেন। ১২১৯ সালে দামেস্কের সুলতান মুয়াজ্জিম নগরের দেয়াল ধ্বংস করেন। ১২৪৩ সালে মিশরের সাথে চুক্তি অনুযায়ী জেরুজালেম জার্মানির দ্বিতীয় ফ্রেডেরিখের হস্তগত হয়। ১২৩৯ সালে তিনি দেয়াল পুনর্নির্মাণ করেন। কিন্তু কেরাকের আমির দাউদ সেগুলোকে ধ্বংস করে দেন। ১২৪৩ সালে জেরুজালেম পুনরায় খ্রিষ্টানদের দখলে আসে এবং দেয়ালগুলো সংস্কার করা হয়। ১২৪৪ সালে খোয়ারিজমিয় তাতাররা শহরটি দখল করে এবং সুলতান মালিক আল-মুয়াত্তাম নগরপ্রাচীর ভেঙে ফেলেন। ফলে শহর আবার প্রতিরক্ষাহীন হয়ে পড়ে এবং শহরের মর্যাদা হুমকির মুখে পড়ে। 
বর্তমান দেয়ালগুলো ১৫৩৮ সালে উসমানীয় সাম্রাজ্যের সুলতান প্রথম সুলাইমান কর্তৃক নির্মিত হয়। দেয়ালগুলো প্রায় ৪.৫ কিমি. (২.৮ মাইল) দীর্ঘ ও ৫ থেকে ১৫ মিটার (১৬ থেকে ৪৯ ফুট) পর্যন্ত উঁচু এবং ৩ মিটার (১০ ফুট) পুরু)। সব মিলিয়ে পুরনো শহরে মোট ৪৩টি প্রহরা টাওয়ার ও ১১ টি গেট আছে। এদের মধ্যে সাতটি বর্তমানে উন্মুক্ত।

পুরনো শহরটিকে ইউনেস্কো বিশ্ব ঐতিহ্যবাহী স্থান হিসেবে তালিকাভুক্ত করার জন্য ১৯৮০ সালে জর্ডান প্রস্তাব করে। ১৯৮১ সালে এটিকে তালিকাভুক্ত করা হয়। ১৯৮২ সালে জর্ডান একে ঝুঁকিপূর্ণ বিশ্ব ঐতিহ্যবাহী স্থান হিসেবে গণ্য করার অনুরোধ জানায়। জর্ডানের এখতিয়ার নেই উল্লেখ করে যুক্তরাষ্ট্র এই অনুরোধের বিরোধিতা করে। সেসাথে এও উল্লেখ করে যে এক্ষেত্রে ইসরায়েলের সম্মতি প্রয়োজন কারণ তারা প্রত্যক্ষভাবে ইসরায়েলের নিয়ন্ত্রণ করছে। ২০১১ সালে ইউনেস্কো বিবৃতি দেয় যে তারা পূর্ব জেরুজালেমকে অধীকৃত ফিলিস্তিনি এলাকার অংশ বলে গণ্য করে এবং জেরুজালেমের অবস্থান স্থায়ী ভিত্তিতে সমাধান করতে হবে।

মরোক্কান মহল্লা
খ্রিষ্টান মহল্লা
জেরুজালেমের অংশ
ইতিহাস