গ্রেডিয়েন্ট বংশদ্ভুত একটি ফাংশনের সর্বনিম্ন সন্ধানের জন্য একটি প্রথম-ক্রম পুনরাবৃত্তিমূলক অপ্টিমাইজেশন অ্যালগরিদম। নিউরাল নেটওয়ার্কগুলিতে, এটির ওজনের সাথে সম্পর্কিত ত্রুটির ডেরাইভেটিভের অনুপাতে প্রতিটি ওজন পরিবর্তন করে ত্রুটি শব্দটি হ্রাস করতে ব্যবহার করা যেতে পারে, তবে শর্ত থাকে যে অ-রৈখিক অ্যাক্টিভেশন কর্মটি পৃথকযোগ্য ti এটি করার বিভিন্ন উপায় ১৯৮০ এবং ১৯৯০ এর দশকে ওয়ার্বোস, উইলিয়ামস, রবিনসন, শ্মিধুবার, হোক্রেইটার, পার্লমুটার এবং অন্যান্যরা বিকাশ করেছিলেন।

স্ট্যান্ডার্ড পদ্ধতিটিকে "সময়ের মাধ্যমে ব্যাকপ্রোপাগেশন" বা বিপিটিটি বলা হয় এবং এটি ফিড-ফরোয়ার্ড নেটওয়ার্কগুলির জন্য ব্যাক-বর্ধনের একটি সাধারণীকরণ। সেই পদ্ধতির মতো এটি পন্ট্রিয়াগিনের ন্যূনতম নীতিটির বিপরীত সংশ্লেষ মোডে স্বয়ংক্রিয় পার্থক্যের একটি উদাহরণ। আরও গণনামূলকভাবে ব্যয়বহুল অনলাইন ভেরিয়েন্টকে বলা হয় "রিয়েল-টাইম রিকভারেন্ট লার্নিং" বা আরটিআরএল, যা স্ট্যাকড ট্যানজেন্ট ভেক্টরগুলির সাথে ফরোয়ার্ড অ্যাকোমোশন মোডে স্বয়ংক্রিয় পার্থক্যের একটি উদাহরণ। বিপিটিটি-র বিপরীতে, এই অ্যালগরিদমটি সময়মতো স্থানীয় তবে স্থানটিতে স্থানীয় নয়।

এই প্রসঙ্গে, স্থানের স্থানীয় মানে হ'ল কোনও ইউনিটের ওজন ভেক্টর কেবল সংযুক্ত ইউনিটগুলিতে সঞ্চিত তথ্য ব্যবহার করে আপডেট করা যেতে পারে এবং ইউনিট নিজেই যেমন একক ইউনিটের আপডেট জটিলতা ওজন ভেক্টরের মাত্রিক ক্ষেত্রে লিনিয়ার। স্থানীয় সময়ে সময় মানে আপডেটগুলি ক্রমাগত (অন-লাইন) হয় এবং বিপিটিটির মতো নির্দিষ্ট সময় দিগন্তের মধ্যে একাধিক সময় পদক্ষেপের চেয়ে কেবল সাম্প্রতিক সময়ের ধাপের উপর নির্ভর করে। জৈবিক নিউরাল নেটওয়ার্কগুলি সময় এবং স্থান উভয়েরই সম্মানের সাথে স্থানীয় বলে মনে হয় ৷

আংশিক ডেরাইভেটিভগুলি পুনরাবৃত্তভাবে গণনা করার জন্য, আরটিআরএল-এর জেকোবিয়ান ম্যাট্রিকেস গণনা করার জন্য প্রতি সময় ধাপে ও (লুকানো এক্স ওজনের সংখ্যার সংখ্যা) এর সময়-জটিলতা রয়েছে, যখন বিপিটিটি ব্যয় অনুসারে শুধুমাত্র প্রতি ধাপে ও (ওজনের সংখ্যা) নেয় প্রদত্ত সময়ের দিগন্তের মধ্যে সমস্ত ফরোয়ার্ড ক্রিয়াকলাপ সংরক্ষণের মধ্যবর্তী জটিলতার সাথে বিপিটিটি এবং আরটিআরএল-এর মধ্যে একটি অনলাইন হাইব্রিড বিদ্যমান, অবিচ্ছিন্ন সময়ের জন্য রূপগুলি ৷

স্ট্যান্ডার্ড আরএনএন আর্কিটেকচারের গ্রেডিয়েন্ট বংশোদ্ভূত হওয়ার একটি বড় সমস্যা হ'ল ত্রুটি গ্রেডিয়েন্টগুলি গুরুত্বপূর্ণ ইভেন্টগুলির মধ্যে সময়ের ব্যবধানের সাথে দ্রুততার সাথে দ্রুত অদৃশ্য হয়ে যায় ৷ এলপিএসএম একটি বিপিটিটি / আরটিআরএল সংকর শেখার পদ্ধতির সাথে একত্রিত হয়ে এই সমস্যাগুলি কাটিয়ে উঠার চেষ্টা করে ৷ এই সমস্যাটি স্বতন্ত্রভাবে পুনরাবৃত্ত নিউরাল নেটওয়ার্ক (ইন্ডআরএনএন) এও সমাধান করা হয়েছে নিউরনের প্রসঙ্গটি তার নিজস্ব অতীত অবস্থাতে হ্রাস করে এবং ক্রস-নিউরন তথ্যগুলি নিম্নলিখিত স্তরগুলিতে অনুসন্ধান করা যেতে পারে। দীর্ঘমেয়াদী মেমরি সহ বিভিন্ন পরিসরের স্মৃতিগুলি গ্রেডিয়েন্ট নিখোঁজ হওয়া এবং বিস্ফোরিত সমস্যা ছাড়াই শিখতে পারে।

অন-লাইন অ্যালগরিদমকে সিআরবিপি বলা হয়, স্থানীয়ভাবে পুনরাবৃত্ত নেটওয়ার্কগুলির জন্য বিপিটিটি এবং আরটিআরএল দৃষ্টান্ত প্রয়োগ করে এবং একত্রিত করে ৷ এটি সর্বাধিক সাধারণ স্থানীয়ভাবে পুনরাবৃত্ত নেটওয়ার্কগুলির সাথে কাজ করে। সিআরবিপি অ্যালগরিদম বিশ্বব্যাপী ত্রুটি শব্দটি হ্রাস করতে পারে। এই সত্যটি অ্যালগরিদমের স্থিতিশীলতার উন্নতি করে, স্থানীয় প্রতিক্রিয়া সহ পুনরাবৃত্ত নেটওয়ার্কগুলির জন্য গ্রেডিয়েন্ট গণনা কৌশলগুলিতে একত্রিত দৃষ্টিভঙ্গি সরবরাহ করে।

স্বেচ্ছাসেবী আর্কিটেকচার সহ আরএনএনগুলিতে গ্রেডিয়েন্ট তথ্য গণনার এক পদ্ধতির সংকেত-প্রবাহ গ্রাফগুলি ডায়াগ্রাম্যাটিক ডেরাইভেশন ভিত্তিক ৷ এটি নেটওয়ার্ক সংবেদনশীলতা গণনার জন্য লি এর উপপাদ্যের ভিত্তিতে বিপিটিটি ব্যাচ অ্যালগরিদম ব্যবহার করে ৷ এটি ওয়ান এবং বিউফেস প্রস্তাব করেছিলেন, এর দ্রুত অনলাইন সংস্করণটি ক্যাম্পলুচি, আনসিনি এবং পিয়াজা প্রস্তাব করেছিলেন।

নিউরাল নেটওয়ার্ক পুডডাউন অটোমেটা
পার্থক্যযোগ্য নিউরাল কম্পিউটার
প্রশিক্ষণ
গ্রেডিয়েন্ট বংশোদ্ভূত