१. ग्रेडियंट गायब होण्याची समस्या: सिग्मोइड फंक्शनच्या डेरिव्हेटिव्हचे कमाल मूल्य 0.25 आहे, ज्यामुळे मागील प्रसारादरम्यान एकूण ग्रेडियंट्स खूप लहान होऊ शकतात. याउलट ReLU मध्ये सकारात्मक इनपुटसाठी स्थिर ग्रेडियंट 1 आहे. २. गणना कार्यक्षमता: सिग्मोइड फंक्शनमध्ये घातांक प्रक्रियेपेक्षा जास्त कार्यक्षम असलेल्या max ((0, x) चा वापर करून ReLU गणना केली जाऊ शकते. ३. अभिसरण गती: हे देखील नोंदवले गेले आहे की न्यूरल नेटवर्कमध्ये सक्रियकरण फंक्शन म्हणून ReLU वापरणे सिग्मोइड फंक्शन वापरण्यापेक्षा वेगाने अभिसरण करते.
न्यूरल नेटवर्कमध्ये क्लासिक सिग्मोइड फंक्शनच्या तुलनेत ReLU सक्रियकरण फंक्शन वापरण्याचे काय फायदे आहेत?