package Ġcom . github . j nex il . ne u vi . api Ċ Ċ interface ĠActivation Ġ{ ĊĠĠĠ Ġfun Ġactivate ( value : ĠDouble ): ĠDouble ĊĠĠĠ Ġfun Ġderivative ( value : ĠDouble ): ĠDouble ĊĊĠĠĠ Ġobject ĠLinear : ĠActivation Ġ{ ĊĠĠĠĠĠĠĠ Ġoverride Ġfun Ġactivate ( value : ĠDouble ): ĠDouble Ġ= Ġvalue ĊĠĠĠĠĠĠĠ Ġoverride Ġfun Ġderivative ( value : ĠDouble ): ĠDouble Ġ= Ġ 1 . 0 ĊĊĠĠĠĠĠĠĠ Ġoverride Ġfun ĠtoString (): ĠString Ġ= Ġ" Activation . Linear " ĊĠĠĠ Ġ} ĊĊĠĠĠ Ġobject ĠSig moid : ĠActivation Ġ{ ĊĠĠĠĠĠĠĠ Ġoverride Ġfun Ġactivate ( value : ĠDouble ): ĠDouble Ġ= Ġ 1 Ġ/ Ġ( 1 Ġ+ ĠMath . exp (- value )) ĊĠĠĠĠĠĠĠ Ġoverride Ġfun Ġderivative ( value : ĠDouble ): ĠDouble Ġ{ ĊĠĠĠĠĠĠĠĠĠĠĠ Ġval Ġsig moid Ġ= Ġactivate ( value ) ĊĠĠĠĠĠĠĠĠĠĠĠ Ġreturn Ġsig moid Ġ* Ġ( 1 Ġ- Ġsig moid ) ĊĠĠĠĠĠĠĠ Ġ} ĊĊĠĠĠĠĠĠĠ Ġoverride Ġfun ĠtoString (): ĠString Ġ= Ġ" Activation . Sig moid " ĊĠĠĠ Ġ} ĊĊĠĠĠ Ġobject ĠT anh : ĠActivation Ġ{ ĊĠĠĠĠĠĠĠ Ġoverride Ġfun Ġactivate ( value : ĠDouble ): ĠDouble Ġ= ĠMath . tanh ( value ) ĊĠĠĠĠĠĠĠ Ġoverride Ġfun Ġderivative ( value : ĠDouble ): ĠDouble Ġ= Ġ 1 Ġ- Ġvalue Ġ* Ġvalue ĊĊĠĠĠĠĠĠĠ Ġoverride Ġfun ĠtoString (): ĠString Ġ= Ġ" Activation . T anh " ĊĠĠĠ Ġ} Ċ }