মন্দিরে সূর্যদেবতার যে বিশাল বিগ্রহ ছিল তা এখন নেই। কালের করাল গ্রাসে স্থাপনার অনেকটাই আজ ধ্বংসপ্রাপ্ত। এর কয়েকটি কারণ আছে। প্রথমত, বাংলার সুলতান সুলায়মান খান করনানির সেনাপতি কালাপাহাড়ের আক্রমণে কোনার্ক মন্দির প্রথম ধ্বংসপ্রাপ্ত হয়। উড়িষ্যার ইতিহাস অনুযায়ী কালাপাহাড় ১৫০৮ সালে কোনার্ক আক্রমণ করে। দ্বিতীয়ত, নরসিংহদেব মুসলিম মেয়েকে বিয়ে করার জন্যে বহিস্কৃত হয়। তাই তিনি নিজে মন্দির ধ্বংস করেন। তৃতীয়ত, ১৬২৬ সালে খুরদার তত্কালীন রাজা পুরুষোত্তমদেবের পুত্র নরশিমাদেব সূর্যদেবের বিগ্রহটি পুরীর জগন্নাথের মন্দিরে নিয়ে যান। সেখানে একটি পৃথক মন্দিরে সূর্য ও চন্দ্রদেবতার বিগ্রহ স্থাপন করা হয়। শুধু বিগ্রহই নয় তিনি কোনার্ক মন্দির থেকে কারুকার্য করা অনেক পাথর পুরীর মন্দিরে নিয়ে যান। এমনকি নবগ্রহ পথ নামে একটি বিশাল প্রস্তর খন্ডও তিনি পুরীতে নিয়ে যান। মারাঠা শাসনামলে কোনার্ক মন্দির থেকে অনেক ভাস্কর্য ও প্রস্তরখন্ড পুরীতে নিয়ে যাওয়া হয়। ১৭৭৯ সালে কোনার্ক থেকে অরুণ কুম্ভ নামে বিশাল একটি স্তম্ভ নিয়ে পুরীর সিংহদ্বারের সামনে স্থাপন করা হয়। এই সময় মারাঠা প্রশাসন কোনার্কের নাট মন্ডপটি অপ্রয়োজনীয় মনে করে ভেঙ্গে ফেলে। সূর্যদেবের বিগ্রহ অপসারণের পর কোনার্কে পূজা ও আরতি বন্ধ হয়ে যায়। চতুর্থত,পর্তুগীজ জলদস্যুদের ক্রমাগত আক্রমণের ফলে কোনার্ক বন্দর বন্ধ করে দেওয়া হয়। পর্তুগীজ জলদস্যুদের দস্যুবৃত্তি করতে অসুবিধা হওয়ার জন্য পর্তুগীজ দস্যুরা কোনার্ক মন্দিরের মাথায় অবস্হিত অতি শক্তিশালি চুম্বকটিকে নষ্ট করে দেয়।

আঠারশো শতক নাগাদ কোনার্ক মন্দির তার সকল গৌরব হারিয়ে পরিত্যক্ত অবস্থায় পড়ে থাকে। মন্দিরের অনেক অংশ বালির নিচে চাপা পড়ে যায়। মন্দির চত্বর ও এর আশেপাশের এলাকা ধীরে ধীরে ঘন অরণ্যে ছেয়ে যায়। বুনো জন্তুরা বাসা বাঁধে মন্দিরের ভিতর। জলদস্যু ও ডাকাতের আস্তানায় পরিণত হয় কোনার্ক মন্দির। সেসময় দিনের আলোতেও সাধারণ মানুষ ভয়ে এর ত্রিসীমানায় যেত না।

নির্মাণ ও গঠন
ধ্বংস
নামের ব্যুৎপত্তি
ইতিহাস