ക്ഷേത്രത്തിന്റെ പതനവുമായി ബന്ധപെട്ട് ഏറ്റവും വിശ്വസനീയമായ കഥ ബംഗാൾ സുൽത്താൻ ആയിരുന്ന സുലൈമാൻ ഖാൻ ഖരാനിയുടെ മന്ത്രി കാലാപഹദ്ദുമായി ബന്ധപെട്ട് കിടക്കുന്നു . ഒറീസയുടെ ചരിത്രം അനുസരിച്ച് , കലാപഹാദ് 1508 ൽ ഒറീസ ആക്രമിച്ചു . ഒരു ഹിന്ദു ആയിരുന്ന ഇദ്ദേഹം മതം മാറി മുസ്ലിം ആകുകയായിരുന്നു . പുരി ജഗന്നാഥ ക്ഷേത്രത്തിലെ മദാല പഞ്ജിയിൽ 1568 ൽ കലാപഹാദ് ഒറീസയെ ആക്രമിച്ചതായും ഒറീസയെ സംബന്ധിച്ചിടത്തോളം ഒരു ദുഷിച്ച സമയമാണെന്നും വിവരിച്ചിരിക്കുന്നു . ഇദ്ദേഹം കൊണാർക്ക് ക്ഷേത്രം ആക്രമിച്ചു . ദാദിനൗതിയുടെ സ്ഥലം മാറ്റി സ്ഥാപിച്ചു . ദാദിനൗതിയുടെ സ്ഥലംമാറ്റം മൂലം ക്ഷേത്രം ക്രമേണ ഇടിഞ്ഞുവീഴുകയും മുകസാലയുടെ മേൽക്കൂരയ്ക്കും കേടുപാടുകൾ സംഭവിക്കുകയും ചെയ്തു . ഈ സംഭവത്തിന്‌ ശേഷം ഒറീസ്സ മുസ്ലിം ഭരണത്തിന് കീഴിലായി. ഈ കാല ഘട്ടങ്ങളിൽ പലരും ക്ഷേത്രം ആക്രമിച്ചതായി തെളിവുകളുണ്ട്. വൈദേശിക ആക്രമണങ്ങളെ ഭയന്ന പുരിയിലെ പാണ്ഡ വംശജർ സൂര്യ വിഗ്രഹം കൊണാർക്ക് ക്ഷേത്രത്തിൽ നിന്നും മാറ്റി മണ്ണിൽ കുഴിച്ചിട്ടു. വർഷങ്ങൾക്കു ശേഷം വിഗ്രഹം കുഴിച്ചെടുത്ത് പുരി ജഗന്നാഥ ക്ഷേത്രത്തിനുള്ളിലെ ഇന്ദ്ര ക്ഷേത്രത്തിൽ സ്ഥാപിച്ചു. ഈ വിഗ്രഹം ഇപ്പോഴും പുരി ക്ഷേത്രത്തിൽ കാണാനാവും. എന്നാൽ ചില ചരിത്രകാരന്മാർ പറയുന്നത് വിഗ്രഹം കുഴിച്ചിട്ടതല്ലാതെ പുറത്തെടുക്കാൻ ഇതുവരെ സാധിച്ചിട്ടില്ല എന്നാണ് . അവരുടെ അഭിപ്രായത്തിൽ സുന്ദരവും ആകർഷകവുമായ സൂര്യ വിഗ്രഹം ഇപ്പോഴും കൊണാർക്കിന്റെ പരിസരത്തെവിടെയോ മണ്ണിൽ പൂണ്ടു കിടക്കുന്നുണ്ട്. ചിലരുടെ അഭിപ്രായത്തിൽ ഡൽഹിയിലെ നാഷണൽ മ്യൂസിയത്തിൽ കാണുന്ന സൂര്യ വിഗ്രഹം കൊണാർക്കിലെ സൂര്യ വിഗ്രഹമാണ്‌ . ഈ സംഭവങ്ങൾക്ക് ശേഷം സൂര്യാരാധന ഇവിടെ പൂർണമായും നിലച്ചു. ആരും ഇവിടം സന്ദർശിക്കാതായി. ഏറെ നാളുകൾക്കു ശേഷം ഇവിടം പൂർണമായും വിസ്മരിക്കപ്പെടുകയും ഈ പ്രദേശം മരുഭൂമി സമാനമാവുകയും ചെയ്തു. അനേക വർഷങ്ങളോളം ഈ നില തുടർന്നു. ഇവയെല്ലാം കൊണാർക്ക് ക്ഷേത്രത്തിനെ നാമാവശേഷമാക്കി. ഇവിടം മുഴുവൻ കാട് പിടിച്ചു കിടന്നു. കാലക്രമേണ വന്യ ജീവികളുടെ വിഹാര കേന്ദ്രമായി ഇവിടം മാറി. പതിനെട്ടാം നൂറ്റാണ്ടിന്റെ അവസാനത്തോടെ കൊണാർക്ക്‌ ക്ഷേത്രം അതിന്റെ എല്ലാ മാഹാത്മ്യങ്ങളും നശിച്ച് ഒരു അസ്ഥി പഞ്ചരം പോലെ നില കൊണ്ടു. പകൽ സമയങ്ങളിൽ പോലും ഇവിടം സന്ദർശിക്കാൻ പരിസരവാസികൾ ഭയപ്പെട്ടു.
കടൽക്കൊള്ളക്കാരുടെ ആക്രമണം മൂലം കൊണാർക്കിലെ തുറമുഖവും അടച്ചു. സൂര്യാരാധനയുടെ മഹത്തായ ഒരു നഗരമായിരുന്നു കൊണാർക്ക്. എന്നാൽ ഈ പ്രവർത്തനങ്ങൾ അവസാനിപ്പിച്ചതിനുശേഷം, കൊണാർക്ക് വിജനമായ ഒരു സ്ഥലമായി മാറി , കാലക്രമേണ അത് കടൽക്കൊള്ളക്കാരുടെയും വന്യമൃഗങ്ങളുടെയും ഒരു മേഖലയായി മാറി. 
1626-ൽ അന്നത്തെ ഖുർദ രാജാവായിരുന്ന പുരുഷോത്തം ദേവിന്റെ മകൻ രാജ നരസിംഹ ദേവ് സൂര്യവിഗ്രഹവും ചന്ദ്രവിഗ്രഹവും പുരിയിലേക്ക് കൊണ്ടുപോയി . പുരി ജഗന്നാഥ ക്ഷേത്രത്തിലെ ഒരു ക്ഷേത്രത്തിലാണ് ഇപ്പോൾ ഇവ കാണപ്പെടുന്നത്.ഖുർദ രാജാക്കന്മാരും മറ്റും കൊണാർക്ക്‌ ക്ഷേത്രത്തിൽ നിന്നും അനേകം വിഗ്രഹങ്ങളും ശിലകളും കടത്തികൊണ്ടു പോയിട്ടുണ്ട്. ചില രേഖകൾ പ്രകാരം, പുരി ജഗന്നാഥ ക്ഷേത്രത്തിലെ ചില ഭാഗങ്ങൾ നിർമിച്ചിരിക്കുന്നത് കൊണാർക്കിൽ നിന്നും കൊണ്ടുവന്ന ശിലകൾ ഉപയോഗിച്ചാണ്. ഇത് കൂടാതെ മനോഹരങ്ങളായിരുന്ന അനേകം ശില്പങ്ങളും ഒറിസയിലെ പല ഭാഗങ്ങളിലേക്കും മാറ്റപെട്ടു. ജഗന്മോഹൻ മണ്ഡപത്തിന് മുന്നിലായി പതിനെട്ട് അടിയോളം മുകളിൽ ഏകദേശം ഇരുപത്തിയേഴ് ടണ്ണോളം ഭാരവും ആറ് മീറ്റർ നീളവും ഒന്നര മീറ്ററോളം ഉയരവും ഉണ്ടായിരുന്ന നവഗ്രഹ ശില അതി സുന്ദരമായ ഒരു സൃഷ്ടിയായിരുന്നു. ഇതിൽ നവഗ്രഹങ്ങളുടെ രൂപങ്ങൾ വിവിധ ഭാവങ്ങളിൽ കൊത്തി വച്ചിരുന്നു. രണ്ടു നൂറ്റാണ്ടുകൾക്കു മുമ്പ് ബംഗാൾ സർക്കാർ ഈ ശിലയെ കൽക്കട്ടയിലേക്ക് മാറ്റാൻ ഒരു ശ്രമം നടത്തി. എന്നാൽ ഇതത്ര എളുപ്പമല്ലെന്ന് മനസ്സിലാക്കിയപ്പോൾ ഈ ശില രണ്ടായി പകുത്തു. പക്ഷേ എന്നിട്ടും ഇത് മാറ്റാൻ അവർക്ക് സാധിച്ചില്ല. പിന്നീട് ക്ഷേത്രത്തിൽ നിന്നും അര കിലോമീറ്റർ അകലെവരെ നീക്കാൻ സാധിച്ചു. ഇവിടെ ഈ ശില ഏകദേശം അറുപത് വർഷത്തോളം അനാഥമായി കിടന്നു. ഈയടുത്ത കാലത്ത് സർക്കാർ ഇതെടുത്ത് കൊണാർക്ക്‌ ക്ഷേത്രത്തിന്റെ വെളിയിലായി തെക്ക് കിഴക്ക് ഭാഗത്ത് സ്ഥാപിക്കാൻ ഉത്തരവിട്ടു. ഇപ്പോൾ ഇതിവിടെ കാണാവുന്നതാണ്. എ. ഡി 1779 ൽ മറാത്ത ഭരണ കാലത്ത് കൊണാർക്ക്‌ ക്ഷേത്രത്തിന്റെ മുന്നിലുണ്ടായിരുന്ന അരുണ സ്തൂപം അവിടെ നിന്നും മാറ്റി പുരി ക്ഷേത്രത്തിന്റെ മുന്നിൽ സ്ഥാപിച്ചു. ഇപ്പോഴും ഈ സ്തൂപം അവിടെ കാണാനാകും . പുരി ക്ഷേത്രത്തിലെ മഡാല പഞ്ജിയിൽ 1028 ൽ രാജ നരസിംഹ ദേവ് കൊണാർക്കിലെ എല്ലാ ക്ഷേത്രങ്ങളും അളക്കാൻ ഉത്തരവിട്ടതായും കൊണാർക്കിലെ ക്ഷേത്രങ്ങളെക്കുറിച്ച് ഒരു വിവരണം നൽകാനായും ആവശ്യപ്പെട്ടതായി രേഖപ്പെടുത്തിയിട്ടുണ്ട് . അളക്കുന്ന സമയത്ത് സൂര്യക്ഷേത്രം അതിന്റെ അമലക് ശില വരെ നിലവിലുണ്ടായിരുന്നു . അളന്നപ്പോൾ ക്ഷേത്രത്തിന് ഏകദേശം 200 അടി ഉയരമുണ്ടായിരുന്നു . കാലാപഹദ് അതിന്റെ കലാസ , ഏറ്റവും മുകൾ ഭാഗത്തെ കല്ല് , പദ്മ-ധ്വജം , മുകളിലെ കുറച്ച് ഭാഗങ്ങൾ എന്നിവ മാത്രമേ നശിപ്പിച്ചിരുന്നുള്ളൂ . ഏറ്റവും മുകൾ ഭാഗത്തെ കല്ല് നീക്കം ചെയ്തതിനാൽ ക്ഷേത്രത്തിന്റെ സന്തുലിതാവസ്ഥ നഷ്ടപ്പെടുകയും ക്രമേണ താഴേക്ക് വീഴുകയും ചെയ്തു. കനത്ത കല്ലുകളുടെ അടികൊണ്ട് പൂമുഖത്തിന് കാര്യമായ നാശമുണ്ടാക്കി . കൊണാർക്ക് ക്ഷേത്രത്തിലെ നട മന്ദിരം അല്ലെങ്കിൽ നൃത്ത മണ്ഡപം അതിന്റെ യഥാർഥ രൂപത്തിൽ കൂടുതൽ കാലം ഉണ്ടായിരുന്നുവെന്നും മറാത്ത ഭരണകാലത്ത് ഇത് അനാവശ്യമായ ഒരു ഘടനയായി കണക്കാക്കിയാണ് ഇത് തകർന്നതെന്നും രേഘപ്പെടുത്തിയിട്ടുണ്ട് .
1779 ൽ ഒരു മർഹട്ട സാധു കൊണാർക്കിൽ നിന്ന് അരുണ സതംഭം എടുത്തു പുരി ജഗന്നാഥ ക്ഷേത്രത്തിലെ സിംഹ കവാടത്തിന് മുന്നിലേയ്ക്ക്ക്ക് മാറ്റി സ്ഥാപിച്ചു . പതിനെട്ടാം നൂറ്റാണ്ടിന്റെ അവസാനത്തോടെ കൊണാർക്കിന്റെ എല്ലാ മഹത്ത്വവും നഷ്ടപ്പെടുകയും ഇടതൂർന്ന വനത്തിലേക്ക് മാറുകയും ചെയ്തു . വിശാലമായ പകൽ വെളിച്ചത്തിൽ പോലും കൊണാർക്കിലേക്ക് പോകാൻ പ്രദേശവാസികൾ പോലും ഭയപ്പെട്ടിരുന്നുവെന്ന് പറയപ്പെടുന്നു.

പിന്നീട് പത്തൊൻപതാം നൂറ്റാണ്ടിന്റെ അവസാന കാലഘട്ടങ്ങളിൽ ഗവണ്മെന്റ് ഈ സ്ഥലം ഏറ്റെടുക്കുകയും സംരക്ഷണ പ്രവർത്തനങ്ങൾ തുടങ്ങുകയും ചെയ്തു. ഇന്ന് സംസ്ഥാന കേന്ദ്ര ഗവണ്മെന്റുകൾ കൊണാർക്ക്‌ ക്ഷേത്രത്തിന്റെ സംരക്ഷണത്തിൽ അതീവ ശ്രദ്ധ ചെലുത്തുന്നു. 
ഇന്ന് ഇന്ത്യക്ക് അകത്തും പുറത്തുമുള്ള ഒരുപാട് സന്ദർശകരെ ഈ ക്ഷേത്രം ആകർഷിക്കുന്നു. ക്ഷേത്രത്തിൽ ആരാധന അനുവദിക്കണം എന്ന ആവശ്യം ഒറീസ്സയിലെ വിവിധ ഹിന്ദു സംഘടനകൾ ഉന്നയിച്ചു എങ്കിലും സർക്കാർ അത് തള്ളി കളയുകയാണു ചെയ്തത്.

ക്ഷേത്രത്തിന്റെ പവിത്രത
പേര് വന്ന വഴി
ഭൂകമ്പം
കാലാപഹദ്ദ്