Limbola likanisi ya ba mécanismes ya attention.
Mecanisme d’attention na contexte ya ba réseaux neuronaux artificiels ezali kolobela méthode oyo epesaka modèle nzela ya ko focuser na ba parties pertinentes ya entrée tango ezali ko traité yango. Na tina, mécanisme ya attention epesaka nzela na modèle ya ko peser importance ya ba pièces ya informations différentes, au lieu ya ko traité ba entrées nionso ndenge moko. Likanisi ya ba mécanismes ya attention ewutaki na makoki ya cognitive ya mutu ya kosala attention mpo na ko sélectivement ko focuser na ba parties certaines ya scène to information tout en considérant ba misusu. Na kokɔtisáká ba mécanismes ya attention na ba modèles neuronaux, balukiluki bazali na mokano ya kobongisa makoki ya ba modèles ya kopona mpe kosala ba informations oyo ezali na ntina mingi. Moko ya ba applications ya liboso mpe oyo eyebani mingi ya ba mécanismes ya attention ezali na ba modèles séquence-à-séquence na traitement ya langue naturelle (PNL), lokola traduction ya machine. Na ba modèles oyo, architecture encodeur-décodeur esalelamaka, esika encodeur e traité séquence ya entrée mpe e produire vecteur ya contexte ya longueur fixe oyo ezali ko représenter information oyo ezali na entrée. Na sima décodeur ebimisaka séquence ya sortie en conditionnement ya calcul ya étape moko na moko ya sortie na vecteur ya contexte wana. Mecanisme ya attention esalelamaka pona ko repoid dynamiquement importance ya ba parties différentes ya séquence ya entrée tango ya décodage, ko permettre modèle e focuser na informations oyo ezali plus pertinente pona étape moko na moko ya sortie. Uta ntango wana, mayele ya kotya likebi ekómi kosepela mingi mpe esalelamaki na misala ndenge na ndenge, na ndakisa kokabola bililingi, koyeba maloba, mpe koyekola mpo na kolendisa. Bamoni ete bazali malamu mingi mpo na kobongisa ndenge oyo ba modèles neuronaux esalaka, mpe sikoyo basalelaka yango mingi na ba systèmes mingi ya sika.