১৯৪০-এর দশকের শেষ দিকে, ডি.ও. হেবেব স্নায়ুতন্ত্রের নমনীয়তার উপর ভিত্তি করে একটি শিক্ষণ প্রস্তাবনা দেন যা হেলব্লিয়ান লার্নিং নামে পরিচিতি লাভ করে। হেবিয়ান শিক্ষণ এক ধরনের অতত্ত্বাবধানকৃত শিক্ষণ । এটি দীর্ঘমেয়াদী ক্ষমতায়নের মডেল হিসেবে বিকশিত হয়। গবেষকরা ১৯৪৮ সালে টুরিংয়ের বি-টাইপ মেশিনের মাধ্যমে কম্পিউটেশনাল মডেলে এই ধারণাগুলি প্রয়োগ করতে শুরু করেন।হেবিয়ান নেটওয়ার্ককে অনুকরণ করতে ফার্লি এবং ক্লার্ক (১৯৫৪) প্রথম গণনাকারি যন্ত্র ( সেসময় "ক্যালকুলেটর" নামে পরিচিত) ব্যবহার করেছিলেন । রচেস্টার, হল্যান্ড, হাবিট এবং দুডা (১৯৫৬) অন্যান্য নিউরাল নেটওয়ার্ক কম্পিউটেশনাল মেশিন তৈরি করেন। রোজানব্ল্যাট (১৯৫৮) পারসেপট্রন নামক প্যাটার্ন শনাক্তের একটি অ্যালগরিদম তৈরি করেছিলেন। গাণিতিক সংকেত দিয়ে রোজেনল্যাব দেখান যে কিছু সার্কিট মৌলিক পারসেপট্রন- এ অনুপস্থিত, যেমন এক্সক্লুসিভ-অর সার্কিট সে সময়ে নিউরাল নেটওয়ার্ক দ্বারা প্রক্রিয়া করা সম্ভব হয় নি। ১৯৫৯ সালে নোবেল বিজয়ী হিউবেল এবং উইসেলের প্রস্তাবিত জৈবিক মডেলটি প্রাথমিক দর্শন কর্টেক্সে দু ধরনের কোষ : সাধারণ কোষ এবং জটিল কোষ আবিষ্কারের উপর ভিত্তি করে ছিল। ১৯৬৫ সালে ইভাখেনঙ্কো এবং লাপা প্রথম বহুস্তরবিশিষ্ট কার্যকরী নেটওয়ার্ক প্রকাশ করেন যা ডেটা হ্যান্ডলিংয়ের গ্রুপ পদ্ধতি হয়ে উঠেছে। 

মিনস্কি এবং পেপার্ট (1969) দ্বারা মেশিন লার্নিং গবেষণার পরে নিউরাল নেটওয়ার্ক গবেষণা স্থগিত থাকে, কারণ তারা নিউরাল নেটওয়ার্ক প্রক্রিয়া করে এমন কম্পিউটেশনাল মেশিনগুলির দুটি মূল সমস্যা আবিষ্কার করেন। প্রথমটি হল মৌলিক পারসেপট্রন এক্সক্লুসিভ-অর সার্কিট প্রক্রিয়াকরণ করতে অসমর্থ ছিল। দ্বিতীয়ত বড় আকারের নিউরাল নেটওয়ার্কগুলির প্রয়োজনীয় কাজ পরিচালনা করার জন্য কম্পিউটারের পর্যাপ্ত প্রক্রিয়াকরণ ক্ষমতা ছিল না। কম্পিউটার অনেক বেশি প্রক্রিয়াকরণ ক্ষমতা অর্জন না করা পর্যন্ত নিউরাল নেটওয়ার্ক গবেষণা ধীর ছিল। অধিকাংশ কৃত্রিম বুদ্ধিমত্তা তখন উচ্চ পর্যায়ের (প্রতীকী) মডেলের উপর দৃষ্টি নিবদ্ধ করেছিল যা অ্যালগরিদম ব্যবহার করে প্রক্রিয়া করা যেত, উদাহরণস্বরুপ "যদি-তারপর" নিয়ম চালিতবিশেষজ্ঞ ব্যবস্থা দিয়ে চিহ্নিত, যে পর্যন্ত না ১৯৮০ সালে গবেষণা নিম্নস্তরের (উপ- প্রতীকী) মেশিন লার্নিং-এ প্রসারিত হয়, যা একটি জ্ঞানীয় মডেলের পরামিতির মধ্যে অন্তর্ভুক্ত জ্ঞান দ্বারা চিহ্নিত। 
প্রতিযোগিতা
ইতিহাস
ব্যাকপ্রোপ্যাগেশন বা পশ্চাত-বিস্তার
হেবিয়ান শিক্ষণ