Neural şəbəkələrində klassik Sigmoid funksiyası üzərində Relu Aktivləşdirmə funksiyasından istifadə etməyin faydaları nələrdir?
1. Gradient yoxa çıxan problem: Sigmoid funksiyasının törəməsinin maksimum dəyəri 0,25-dir, bu da ümumi gradients geri təbliğat zamanı çox kiçik olur.Əksinə Relu müsbət girişlər üçün daimi bir gradient 1 var.
2. Hesablama səmərəliliyi: Relu, Sigmoid funksiyasında eksponensial əməliyyatlardan daha səmərəli olan max (0, x) istifadə edərək hesablana bilər.
3. Konvergensiya sürəti: Yeal şəbəkələrində aktivləşdirmə funksiyası olaraq relu istifadə edərək Sigmoid funksiyasından daha sürətli birləşir.