প্রাচীন হারিমা রাজ্যের শাসক আকামাৎসু নোরিমুরার তত্ত্বাবধানে ১৩৩৩ খ্রিঃ হিমেয়ামা পাহাড়ে একটি কেল্লার নির্মাণকাজ আরম্ভ হয়। ১৩৪৬ খ্রিঃ তার পুত্র সাদোনোরি কেল্লাটি ভেঙে সেই স্থানে নতুন করে হিমেয়ামা কেল্লা নির্মাণ করেন। ১৫৪৫ খ্রিঃ কোদেরা গোষ্ঠীর আদেশানুসারে কেল্লাটি কুরোদা গোষ্ঠীর আসন হয়, এবং সামন্ত শাসক কুরোদা শিগেতাকা কেল্লাটিকে হিমেজি দুর্গ নাম দিয়ে পুনর্নির্মাণ করেন। ১৫৬১ খ্রিঃ এই পুনর্নির্মাণ সম্পন্ন হয়। ১৫৮০ খ্রিঃ কুরোদা য়োশিতাকা, তোয়োতোমি হিদেয়োশিকে দুর্গটি উপহার দেন। হিদেয়োশি ১৫৮১ খ্রিঃ দুর্গটির উল্লেখযোগ্য সংস্কার করেন, যার অন্তর্গত ছিল প্রায় ক্ষেত্রফলবিশিষ্ট একটি নতুন তিনতলা কীপ।

১৬০০ খ্রিঃ সেকিগাহারার যুদ্ধের পর তোকুগাওয়া ইএআসু যুদ্ধে সাহায্যের জন্য ইকেদা তেরুমাসাকে দুর্গটি পুরস্কার দেন। ইকেদা তেরুমাসা তিনতলা কীপটি ধ্বংস করে দেন এবং ১৬০১ থেকে ১৬০৯ খ্রিঃ পর্যন্ত সম্পূর্ণ দুর্গের পুনর্নির্মাণ করেন। এই সময়ই তিনটি পরিখাবেষ্টিত বর্তমান রূপে হিমেজি দুর্গের আবির্ভাব। এই পুনর্নির্মাণে নিযুক্ত মোট শ্রমের পরিমাণ আনুমানিক আড়াই কোটি শ্রম দিবস ধরা হয়। তেরুমাসা ১৬১৩ খ্রিঃ মারা যান এবং দুর্গের উত্তরাধিকারী তার পুত্রও এর তিন বছর পর মারা যান। ১৬১৭ খ্রিঃ হোন্দা তাদামাসা ও তার পরিবার দুর্গের উত্তরাধিকার লাভ করেন। তাদামাসা দুর্গে অনেকগুলি নতুন ভবন যোগ করেন। এগুলির মধ্যে একটি হল তার পুত্রবধূ -এর জন্য একটি পৃথক ভবন।

মেইজি যুগে (১৮৬৮-১৯১২) অনেকগুলি জাপানি দুর্গ ধ্বংস করে দেওয়া হয়। ১৮৭১ খ্রিঃ হিমেজি দুর্গ পরিত্যক্ত হয় এবং দুর্গের অনেকগুলি দালান ও তোরণ ধ্বংস করে সেনা ছাউনি গঠন করা হয়। সরকারী নীতি অনুযায়ী সমগ্র দুর্গটিকেই ধ্বংস করে দেওয়ার কথা ছিল, কিন্তু নাকামুরা শিগেতো নামক জনৈক সামরিক কর্নেলের চেষ্টায় হিমেজি দুর্গ রক্ষা পায়। দুর্গের প্রথম তোরণ -এর মধ্যে নাকামুরার সম্মানে একটি পাথরের সৌধ স্থাপন করা হয়। তবে হিমেজি দুর্গ রেহাই পেলেও সাধারণভাবে জাপানে দুর্গের প্রচলন শেষ হয়ে গিয়েছিল এবং দুর্গের রক্ষণাবেক্ষণ হয়ে উঠেছিল ব্যয়বহুল।

১৮৭১ খ্রিঃ হান সামন্ততন্ত্রের লুপ্তির পর হিমেজি দুর্গ নিলামে ওঠে। জনৈক হিমেজিবাসী ২৩ জাপানি ইয়েন (বর্তমান মূল্য ২,০০,০০০ ইয়েন বা ২,২৫৮ মার্কিন ডলার) দিয়ে দুর্গটি কিনে নেন। ক্রেতার ইচ্ছা ছিল দুর্গটি ভেঙে ফেলে জমিটি অন্য কাজে নিয়োগ করবেন, কিন্তু দুর্গ ভাঙার খরচ অত্যধিক প্রমাণিত হওয়ায় হিমেজি দুর্গ আবার রক্ষা পায়।

১৯৪৫ এ দ্বিতীয় বিশ্বযুদ্ধের শেষে হিমেজি ভারী বোমাবর্ষণের শিকার হয়। হিমেজি দুর্গের পার্শ্ববর্তী অধিকাংশ অঞ্চল ভূমিসাৎ হয়ে গেলেও দুর্গটি এবারেও অক্ষত থাকে। একটি আগুন-বোমা দুর্গের ছাদে এসে পড়েছিল, কিন্তু ফাটেনি। দুর্গ চত্বর সংরক্ষণের উদ্দেশ্যে ১৯৫৬ খ্রিঃ থেকে ৫৫ কোটি ইয়েন ও ২,৫০,০০০ শ্রম দিবস খরচ করে মেরামতির কাজ শুরু হয়। ১৯৯৫ এর জানুয়ারি মাসে হিমেজি নগর হান্‌শিন্‌ মহাভূকম্পের দ্বারা ক্ষতিগ্রস্ত হয়, কিন্তু আবারও হিমেজি দুর্গ অক্ষত থাকে; দুর্গের উপরতলায় রাখা সাকে-র বোতলটি পর্যন্ত ভূকম্পের পর যথাস্থানে ছিল। এর দ্বারা হিমেজি দুর্গের ভূকম্পরোধী স্থাপত্যের প্রত্যক্ষ প্রমাণ পাওয়া যায়।
ঐতিহাসিক স্বীকৃতি
ইতিহাস
সাংস্কৃতিক প্রভাব
লোককথা ও কিংবদন্তি