[speaker001:] Un exposé.
[speaker002:] Du coup...
[speaker003:] Je pense, on on peut commencer. On fait un tour de table ou... ?
[speaker001:] Oui.
[speaker004:] Oui, on fait un tour de table, oui.
[speaker003:] D'accord.
[speaker001:] Ouais.
[speaker003:] Donc du coup, je lance euh le départ.
[speaker004:] [NOISE] Et on à un moment donné euh... quelqu'un sort ou non, on fait pas ça sur le... sur ce... [NOISE]
[speaker005:] ... je rentre. [NOISE]
[speaker001:] Oui, on peut.
[speaker005:] Je retrouve mes slides là.
[speaker001:] Mais pour pour une présentation, j'ai fait vraiment euh...
[speaker003:] Je l'ai fait sur google drive.
[speaker004:] Je commence ? OK. Vas-y, vas-y.
[speaker003:] Donc du coup, euh... bonjour tout le monde. Euh... je m'appelle Simon Adam. Je vais vous présenter aujourd'hui mes travaux sur euh... sur la reconnaissance automatique de la parole. Et donc je propose de faire un tour de table. Voilà, tu commences, Alex ?
[speaker004:] C'est le tour de table ça ?
[speaker006:] Bonjour, François Lefebvre, développeur sur full stack sur petals-cockpit.
[speaker007:] Michel Lemaire, euh stagiaire chez Linagora.
[speaker008:] Jeanne, stagiaire chez Linagora.
[speaker009:] Adèle, stagiaire sur Smart Reply.
[speaker005:] Jeanne, ingénieur doctorante à Linagora.
[speaker010:] Éric Gonzalez, ingénieur de recherche Linagora.
[speaker011:] Paul Garcia, ingénieur euh à Linagora.
[speaker012:] Thomas, ingénieur recherche à Linagora.
[speaker001:] Anne, ingénieur de recherche à Linagora.
[speaker004:] Agathe, responsable de la R et D chez Linagora.
[speaker003:] D'accord, eh bah merci beaucoup pour cette brève présentation. Maintenant, c'est à mon tour de faire la présentation. [NOISE] Et du coup, euh... juste il faut parler un peu plus fort, parce que le microphone il est euh... il est juste là. Et derrière, je pense, après si vous posez des questions, on va pas bien entendre. [NOISE] Donc du coup, je vais vous présenter aujourd'hui, en fait, mes travaux euh... sur tout ce qui est reconnaissance automatique de la parole. Et plus précisément en fait, euh... [NOISE] mes dernières recherches sur tout ce qui est euh... multitask learning donc euh... apprentissage à multitâche. Et comment on peut l'utiliser dans la reconnaissance automatique de la parole. Donc je vais commencer par un bref euh... rappel euh... sur les difficultés de la reconnaissance automatique de la parole. Donc on a, en fait, les difficultés sont à plusieurs niveaux. On a le niveau le plus simple, en fait, c'est ce qu'on appelle euh euh... la reconnaissance automatique. Ici, c'est... c'est des systèmes commande. Donc euh... on connaît déjà le... le cas d'usage. On sait que on va parler de telles entités, on va essayer de... d'identifier telle euh... telle entité dans ce... dans... dans notre... dans... dans... dans ce que la personne va demander. Et donc du coup, c'est une tâche assez facile, en fait, pour... au point de vue reconnaissance. Donc une fois qu'on a la prédiction, à partir du signal, on a la prédiction phonétique, on essaie de restreindre, en fait, la partie recherche des meilleurs mots, sachant, en fait, notre cas d'usage. Donc il y a là le premier niveau de difficulté. Le deuxième niveau en fait, c'est tout ce qui est parole dictée et parole lue. Donc on connaît déjà en fait le domaine sur quoi on va parler et on sait, on a parfois des scripts qui sont déjà tout préparés. Et on a aussi cet aspect où on a préparé notre texte. On n'est pas sur la répétition, sur euh... sur de l'interaction, donc on est sur de la... de la parole informative, qui est une parole claire, continue, stable avec un rythme stable. Et donc, c'est... c'est un... en plus de la commande. Mais du coup, c'est une tâche euh... qui est assez simple. Après, on arrive à tout ce qui est tâche euh... donc difficulté conversationnelle. Donc les gens, ils s'interagissent entre eux, ils se coupent. Il y a la partie large vocabulaire aussi, donc on peut parler de tout et [NOISE] n'importe quoi. Il y a la partie euh distance par rapport au microphone. Il y a la partie superposition [NOISE] des deux paroles donc quand deux... deux... deux personnes parlent en même temps. Et donc du coup, tout ça en fait, c'est le summum des difficultés qu'on peut avoir... [NOISE] je... je leur ai déjà envoyé la...
[speaker012:] Oui, mais le micro ? Élève ta voix.
[speaker003:] ... OK. Et en fait euh, il y a tout ce qui est interactions en plus de cette de cette partie euh contexte en fait et langage euh du... enfin abordé lors de la discussion. Donc du coup, il faut une modélisation plus forte, plus puissante euh... pour permettre de mettre en place euh... des types euh... de systèmes pour la reconnaissance euh... automatique de la parole pour du large vocabulaire. Donc euh... je vais vous parler en fait par la suite sur ça. Il y a tout ce qui est aussi euh euh verrou scientifique sur tout ce qui est accent. Euh noise aussi, la robustesse acoustique. Et aussi euh... enfin, la le speech enhancement donc comment rehausser le système pour euh... le... le signal, pour que toi, quand tu parles, t'es loin, en fait on arrive quand même à... à identifier, à identifier ce que tu dis. Donc euh... en plus simple, en fait, euh... un système de reconnaissance automatique de la parole, euh on a euh... un enregistrement, en fait, le signal. Donc on a le... la partie acquisition du signal sonore. Et une fois qu'on a l'acquisition, en fait, on va essayer de faire extraire euh des paramètres en fait qui sont per... pertinentes à la parole en fait à ce que... euh... à la parole verbale quoi, à l'information verbale. Donc il faut savoir dans de la paro... dans dans tout ce qui est communication humaine, on a deux types d'informations. On a l'information verbale donc tout ce qui est qu'on dit, tout ce qui est savoir qu'on transmet, mais aussi on a l'information non verbale. Donc tout ce qui est, est-ce que c'est une question, donc les intonations, euh... l'emphase donc euh... quand on accentue un mot pour dire qu'il est important. Euh aussi les émotions ce [NOISE] qu'on maîtrise, est-ce qu'on est en colère ? Est-ce que donc [NOISE] est-ce qu'on est content quand on quand on parle ? Et après en fait, une fois qu'on a fait la feature extraction donc la partie extraction des paramètres, qui est liée à la partie verbale, donc qui est liée aux mots, euh... notamment, nous, on utilise euh... des features qui s'appellent BMFCC. Les mel coefficient euh cepstral... coefficient, pardon. Et du coup, ces paramètres, en fait, ils nous permettent d'avoir l'information euh... verbale qui est le phonème euh dans la partie euh... bas niveau euh... du signal. Donc une fois qu'on a ça, on essaie d'apprendre en fait un modèle euh acoustique, qu'on appelle modèle acoustique, qui va nous permettre d'associer à chaque fenêtre un... un phonème bien précis. Donc euh on a l'évolution des phonèmes au fil du temps. Nous quand en tant qu'êtres humains, les phonèmes on les perçoit en fait en tant qu'elle. Après, il y a une partie en fait derrière tout raisonnement pour extraire la connaissance qui est les mots. Mais derrière en fait, comment se fait d'une manière automatique ? Donc on fait une première partie acoustique pour extraire la partie phonétique donc pour prédire les phonèmes. Mais ce qu'on peut voir par... à... à la suite, c'est que on va avoir l'évolution des phonèmes au fil du des du temps. Donc euh... on avait euh... l'évolution de l'amplitude. Ensuite, on a l'évolution au fil du temps, de... de ce qu'on... ce qu'on dit. Ce que... ce que le microphone acquiert comme information. Ensuite, on s'était dit : on va utiliser là des features plus pertinentes euh... pour de la parole, donc on aura le l'évolution des features au fil des du temps. Après, à partir... euh... en en apprenant en fait un modèle acoustique, on va avoir en fait les prédictions donc l'évolution des phonèmes au fil du temps. Et en fait par la suite, en ayant la... la grosse matrice de maximum de vraisemblance, enfin, la matrice euh... euh... de prédiction, on va essayer d'utiliser un modèle qu'on appelle un modèle lexical. Qui va nous permettre de mapper en fait, de lier euh les phonèmes à... à... à une suite de mots. Donc là, on a une suite de phonèmes, on va essayer de faire sortir euh... la suite de mots la plus probable, sachant les phonèmes qui ont été observés. Donc on utilise le lexical pour proposer en fait euh... les mots possibles. Et après, on utilise le modèle de langage. En fait, je vais expliquer après derrière euh... qu'est-ce que c'est un modèle de langage, qui va nous permettre d'avoir euh... cette information euh... de conjugaison des mots euh... dans leur contexte. Donc, il est parti, par exemple, c'est le "est" du verbe être. C'est pas le "A I" du verbe avoir ou le "E accent" par exemple. Et donc par la suite en fait, on va essayer de construire les mots pour avoir la meilleure phrase qui est prononcée, sachant en fait les... les phonèmes qui sont... qui sont ici. Euh, par la suite en fait, je vais vous présenter là les... les différents architectures possibles euh qui sont utilisées dans l'état de l'art pour la reconnaissance automatique de la parole. Donc il y a les architectures standards en fait, où euh... on va prendre le signal, le convertir en fait euh... en observation acoustique plus pertinente pour de la parole. Et donc, on va utiliser un réseau de neurones qui va nous permettre de prédire les phonèmes. Et une fois qu'on a les phonèmes, on va utiliser des systèmes à base de graphs, d'HMM qui vont nous permettre de donner... en fait, de... de modéliser la transition entre phonèmes et de déclencher les meilleurs mots euh... euh... qui sont en fait observés au niveau acoustique. Donc ça, c'est les... c'est l'approche traditionnelle. Les nouvelles approches qui sont proposées là à partir de 2012, 2011-2012, en fait, c'est des approches où on prend directement le signal acoustique et on essaie de prédire les caractères, par exemple. Et donc du coup, à la place d'avoir un système à base de graphs pour décoder en fait, pour trouver le meilleur mot, pour construire les mots au final, on va prédire directement la... la suite de caractères. Et on a une fonction en fait euh... de coût qui est dérivable. Je pense, je vais pas rentrer trop dans les détails, mais en fait, c'est ce qui, là, permet à partir de 2011-2012, de en fait, corriger le réseau de neurones. Donc, c'est cette fonction Connectionist Temporal Classification qui est une fonction qui a le même... la même pratiquement euh... euh... utilisation que les HMM d'avant. Mais ce qui est intéressant, c'est... par rapport à celles-là, cette fonction, elle est dérivable. Donc euh qui dit fonction dérivable dit fonction qui peut être utilisée pour entraîner un réseau de neurones. Et une fois qu'on arrive à faire ça en fait, on peut entraîner un système directement à base de caractères. Donc euh... ici on a un exemple en fait, en bas à droite, pour Jacques, on a un exemple de prédiction, en fait, euh... Supposons qu'on a euh... une suite acoustique comme celle-là.... En fait, pour chaque frame, on va... là, c'était le mot "Hello" ; pour chaque frame, on va prédire H H E. Et en fait, la partie là, epsilon, c'est la partie transition des des modèles traditionnels. Donc, c'est pour dire : "je suis en transition". Donc je... par exemple, entre les deux L du mot hello, il y aura un epsilon, enfin, ce qu'on appelle le le token blank qui va séparer en fait les deux L, de dire : dans le mot hello, il y a deux L, il y a pas qu'un seul L. Et donc après en fait, pour ce faire, une fois qu'on a la prédiction caractères, on va dans un premier temps regrouper, en fait, les caractères qui se suivent, puis enlever les excédents. Et au final, on a le mot... le mot... le mot dit. Et en fait, on... cette technique, elle est proposée... en fait, ces des techniques, ce qu'on appelle les techniques end to end donc directement du signal, on a la partie graphème donc la partie mot, mais il y en a beaucoup en fait dans l'état de l'art, et ils utilisent pas ce système à lui seul. Ils l'utilisent ils utilisent quand même un modèle de langage pour rattraper les erreurs de conjugaison et de contexte par exemple. Le le troisième système au fait, c'est des systèmes aussi qui sont apparus pratiquement en même temps. C'est des systèmes qui sont dits euh... Seq2Seq sont des... c'est des systèmes de bout en bout. Ils prennent euh... le spectrogramme en entrée ou euh... une observation acoustique pertinente. Et en sortie en fait, ils prédisent soit directement les mots dans l'état de l'art qui pré enfin, ce qui est proposé, soit ils prédisent euh... des caractères euh... et euh... ils regroupent en mot directement. Et donc l'idée, c'est que ils découpent en fait le système, non pas en un seul réseau, en une seule passe. En fait, ils auront deux réseaux. Donc un premier réseau qui va apprendre à... à comprendre la partie acoustique. Et ce qu'on appelle ici, en fait, euh... on peut utiliser des techniques d'attention, je vais pas rentrer euh... trop dans les détails, mais en fait, on va essayer de trouver des euh... les représentations intéressantes qui vont nous permettre de prédire les caractères. Donc, le premier réseau, il va se spécialiser dans tout ce qui est euh euh... comprendre l'acoustique. Le deuxième réseau, il va... il va se spécialiser : comment j'utilise les représentations de ce premier réseau pour prédire, en fait, la suite de de caractères la plus probable. Donc euh nous là, à Linagora, euh... Éric, actuellement, en fait, Éric, Jacques et moi, avons travaillé sur ce type euh... d'architecture qui sont très très performants. Après, on a commencé à dans les clips à voir avec Frédéric, notamment enfin un peu avec les recherches que je vais vous présenter euh... par la suite, en fait, l'utilité d'utiliser ce type d'architecture ou ce type d'architecture. Ce qu'on a remarqué, c'est que... c'est des architectures vraiment simples euh... à utiliser. Par exemple, nous et Éric là, pour faire fonctionner des HMM-DNN, il faut il fallait avoir des gens du domaine pour les faire euh... pour les faire tourner. Par contre, pour ces nouvelles architectures en fait, un Data Scientist lambda euh... peut en quelques mois arriver à faire tourner ce type de... de réseau. Mais le problème de ces de ces de ces architectures, c'est qu'il faut avoir beaucoup de données pour que directement, on arrive à extraire la connaissance d'une représentation acoustique directement à monter au caractère ouet au mot. Donc euh... c'est euh... c'est un peu plus complexe, mais quand... les gens y arrivent dans l'état de l'art. Euh pour une comparaison, euh... nous pratiquement avec 300 000 heures, on a l'un des meilleurs systèmes en France là qu'on arrive à obtenir euh... dans l'équipe. Par contre, en fait, avec ces... ces systèmes dits bout en bout, les gens arrivent avec 100 000 heures d'enregistrements. Donc on est à un facteur 200 euh... pour les techniques en fait, euh... pour... pour pouvoir comparer les deux techniques. Donc voilà un peu euh... les deux systèmes. Si vous avez des questions en fait, n'hésitez pas à me les poser au fur et à mesure, parce qu'après, là, c'est une introduction, après je vais... je vais présenter, en fait, tous mes recherches par la suite. Je vais rentrer dans les détails. Bon, si vous avez des questions sur les systèmes en général.
[speaker004:] 300 000 heures ?
[speaker003:] Non, euh... 100 000 heures.
[speaker004:] 100 000 heures ?
[speaker003:] Oui.
[speaker012:] C'est beaucoup.
[speaker003:] Hmm, ouais, c'est beaucoup.
[speaker012:] Mais oui.
[speaker003:] Et ils ils sont arrivés avec euh... de la synthétisation toujours, ils utilisent la synthèse de la parole, mais il faut savoir que leurs jeux de données de base, ils sont à 7 000, 8 000 heures.
[speaker012:] C'est 11 années quoi, hein. 11 années.
[speaker003:] Comment ? Oui, si t'as calculé, oui. C'est euh...
[speaker012:] Ça fait 11 années d'en... Eh bah, ça ça...
[speaker004:] 11 années de réunions, pff.
[speaker003:] Ouais.
[speaker004:] 24 heures sur 24.
[speaker007:] ... on y est presque.
[speaker012:] Nous on a deux heures...
[speaker003:] Du coup, là après, on arrive à... parce que là, j'ai publié, ça fait pas longtemps, dans une conférence de de la parole, et en fait, je vais présenter un peu mes travaux, mes derniers travaux sur quoi je travaille. En fait, on est arrivé à avoir des features acoustiques en entrée, avoir un réseau de neurones et en fait, avoir une prédiction soit phonétique, pour la première architecture, soit caractère euh... pour les deuxièmes architectures. Donc on... on utilise directement un réseau de neurones et on essaie de mapper une séquence en entrée avec euh... une séquence en sortie caractère par exemple. Et l'idée, en fait, de l'état de l'art d'utiliser du multitâche learning donc, ça veut dire que on va pas prédire que une seule prédiction... que une seule sortie. Par exemple, la sortie caractère, mais on va essayer de prédire aussi l'information HommeFemme. Est-ce que la personne qui parle, en plus de l'information caractère, on va essayer de sortir... de faire sortir euh... est-ce que c'est un homme qui parle ou une femme qui parle. Donc euh... c'est ça un peu l'idée du multitask learning. Mais dans l'état de l'art en fait, il y en a qui euh... qui proposent : OK, la tâche principale, c'est euh... prédire les caractères, mais la tâche secondaire, c'est prédire les phonèmes. Donc ils vont euh... essayer de prédire les caractères en tâche principale et pouvoir l'utiliser, mais aussi prédire les phonèmes. Après, ils faut me dire à quoi ça sert, ça, à quoi sert en fait ce type d'information. En fait, ce qui est intéressant de savoir, c'est que dans l'état de l'art, ils ont comparé l'utilisation directe, en fait euh... d'un système à une seule tâche et d'un système où il y a, euh... la tâche principale, il y a plusieurs tâches. Plusieurs tâches secondaires.... Par exemple, le type de... le sexe de... de la personne qui parle, les phonèmes. Euh il y a... il y a beaucoup, en fait, de... de... de... d'applications. Et ce qu'ils ont vu, c'est qu'en rajoutant cette partie euh... euh connaissance déjà euh... en fait, de ce qui est contenu dans le... dans la partie observation acoustique, on arrivait à ce que le réseau apprenne plus vite et apprenne avec moins de données. Et donc, c'est ce qu'on essaie, nous, de pousser un peu euh... dans l'équipe, c'est de voir : OK, on n'a pas beaucoup de donnéesfemme, euh... est-ce que ça permet de... de... de... de... de... de... de... d'adapter en fait, d'avoir un modèle qui s'adapte au locuteur ? En fait, qui est qui est plus robuste euh... à la variabilité au locuteur ? Est-ce que, en fait, euh... ça marche mieux avec moins de données, avec plus de données ? C'est... c'est les questions en fait euh... qui sont un peu proposées par l'état de l'art. C'est que euh avec un seul réseau, est-ce qu'on peut en tirer plusieurs informations, plusieurs représentations ?
[speaker004:] Mais l'idée, c'est de... c'est c'est de dire : si j'appr... si j'apprends à mon réseau plusieurs... plusieurs choses, donc, je lui apprends à reconnaître les caractères et je lui apprends à reconnaître le genre,
[speaker003:] Par exemple. Par exemple, c'est un exemple, euh... on... on... on espère euh on espère qu'on va être plus plus performant... Dans la... la tâche principale.
[speaker004:] ... dans la tâche principale.
[speaker003:] Et et donc du coup, ça, c'est un une première une première question qu'on pose. Par exemple, il se peut que... Oui ?
[speaker004:] Et pour... et... et juste pour ter terminer. Euh... Et pourquoi ? Pourquoi vous... on serait plus performant ?
[speaker003:] C'est ça. C'est que, euh... vu qu'on est sur des... des modèles euh... mathématiques derrière un réseau de neurones profonds. Ce réseau de pro... euh... ce réseau de neurones en fait, il va essayer d'optimiser... euh donc euh on va essayer de l'optimiser par rapport à cette tâche principale. Et donc, cette tâche principale, c'est pas évident pour elle de comprendre que c'est un homme ou une femme, par exemple. C'est une tâche simple homme ou femme, mais euh, on va essayer de proposer d'autres tâches en plus pour l'aider à aller vite, à comprendre...
[speaker011:] OK. On on crée un genre de contexte quoi pour qu'on puisse apprendre.
[speaker003:] C'est... c'est... on lui donne du contexte en plus pour... pour guider en fait le réseau à trouver la meilleure euh...
[speaker004:] Oui, parce que l'on va dire...
[speaker003:] la meilleure information.
[speaker004:] oui intuitivement, l'idée c'est de dire : eh bien, quand c'est... c'est... c'est... les les gammes de fréquences, quand c'est un homme, ne sont pas exactement les mêmes que quand c'est une femme. Donc si on rajoute, si on lui rajoute l'information Ho Ho HommeFemme...
[speaker003:] L'information HommeFemme.
[speaker004:] ... ça lui permet de plus rapidement faire le tri et généraliser sur euh... sur euh la... la... la reconnaissance euh...
[speaker003:] Voilà. Par exemple, s'il y a un gap entre les hommes et les femmes dans les fréquences de 200 hertz par exemple, il va comprendre que euh... il aura... il il aura un coefficient plus de 100, en fait, par la suite pour prédire Homme ou Femme par exemple. Mais il faut comprendre que ces tâches-là en fait, rien n'empêche dans... dans une tâche principale, qu'il va il va avoir cette information, en fait. Il va pouvoir comprendre que c'est un homme ou une femme, mais il ne saura pas que c'est un homme ou une femme. Donc si si on n'utilise qu'une seule avec une seule sortie, on sait que, dans l'information phonétique, le fait qu'il ait reconnu le phonème, il ait reconnu aussi que euh c'est un phonème euh qui a été dit de... de... de... d'un homme ou d'une femme. Mais l'idée, c'est d'utiliser ces tâches-là pour que l'optimisation se fasse mieux. Donc, pour que le réseau de neurones ait la possibilité de... d'avoir euh... le meilleur optimum euh... possible euh...
[speaker004:] Ouais, ouais,... des solutions... Sera pas... architecturé de la même façon. Hum.
[speaker003:] Voilà, sera pas aussi complexe. Voilà. Et et donc du coup, par la suite, on a essayé de voir ce qui existe dans l'état de l'art, pour voir les gens comment ils... ils utilisent le le multitask learning. Et une des dernières utilisations... en fait, euh... on suit beaucoup un chercheur là qui s'appelle euh Bhiksha Raj, qui est un chercheur au CMU en Amérique. Et et du coup en fait, euh... ils essaient de... d'appliquer de nouvelles techniques pour toujours pousser l'état de l'art en fait en plus. Et donc comment ils ont fait ? En fait, il y a... il y a un challenge où il y avait euh... la reconnaissance, en fait, de... dans un flux audio. La reconnaissance de chat, de chien. La reconnaissance de personne qui parle et de voiture qui passe. Et en fait, on avait un enregistrement sonore où on avait euh... des personnes qui parlaient ou un chien qui aboie, et il fallait reconnaître : voilà, à cet endroit, il y a un chien qui aboie, il y a des... il y a des gens qui font de la vaisselle, il y a une girafe, il y a... Enfin, il y avait, je pense, il y avait 22... il y avait tout... toutes ces catégories. Et en fait, ce qu'ils ont fait les gens, quand ils ont commencé à se benchmarker, c'est qu'ils ont fait un système, un réseau de neurones euh... récurrents ou pas. Et ils ont proposé directement euh... à... à faire sortir de la tâche principale, en fait, qui catégorisait l'événement qu'on... qu'on vient d'entendre dans le signal sonore. Et en fait, ce qu'ils ont proposé là, Bhiksha Raj avec ses... avec ses doctorants, enfin, ingé ingénieurs ils ont proposé de catégoriser, en fait, ces sorties-là. Donc par exemple, les... les animaux : euh... le chat et le chien, ils les ont catégori euh... catégorisés dans euh une ontologie euh... qu'on appelle euh... "nature". Tout ce qui vient de la parole, de tout ce qui est production humaine, ils l'ont regroupé euh... ensemble. Donc bon, j'ai parlé, euh... respiré. La musique aussi, ils ont regroupé, en fait, euh... c'est comme s'ils ont créé des ontologies au final. Et donc l'idée, ce qu'ils ont fait, c'est que ils ont deux tâches. Ils ont une tâche principale euh... qui est la prédiction des catégories. La deuxième tâche, c'était euh... avoir une ontologie euh... qu'on peut utiliser comme tâche secondaire pour apprendre. Et donc du coup, derrière, ce qu'ils ont proposé, c'est qu'ils ont pas proposé euh... euh une tâche, en fait, où t'as deux sorties à la... à la fin du réseau de neurones. Donc à la fin du réseau de neurones, tu as deux sorties. Une qui prédit les catégories, les événements sonores et une qui prédit les... les ontologies. Eux, ce qu'ils ont utilisé, c'est que à partir de leurs paramètres audio, ils ont un réseau de neurones qui va prédire les catégories. Après, ils ont une matrice binaire qui va permettre, en fait, de multiplier, en fait, la prédiction, euh... euh les catégories événementielles, quoi... enfin, les... les 22 sons-là ou les 10 sons, pour les convertir en ontologie. Donc, c'est juste une multiplication matricielle. Quand vous avez... une ma... une matrice de NM dimension, que vous multipliez par MP, vous aurez à la fin une matrice NP. Et donc, c'est ce qu'ils ont appliqué. Ils se sont dit : OK, les catégories qu'on a, on va créer une matrice binaire donc euh... pour euh... pour prédire, nature, ça va être euh... 1 1 pour la classe Dog... alors, la classe Dog et chat. Et 0 pour le reste. Pour la classe Humain, ils vont faire 0 0 1 1 1 0 0 0 0. Donc ils ont créé une matrice binaire, juste une matrice de transformation pour les ontologies. Et donc au final, ils ont une deuxième sortie, qui qui est une sortie euh... de l'ontologie en fait des événements euh... sonores. Et ce qu'ils ont proposé, c'est qu'ils ont dit : OK, on va essayer d'optimiser le réseau de neurones en utilisant... en fait, en faisant une euh... euh voilà, un calcul euh... de la loss quoi, sur cette sortie, sur la sortie principale et sur la sortie secondaire. Donc, ils corrigent le réseau de neurones sur la première sortie et sur la deuxième sortie. Donc euh... est-ce que vous connaissez un peu comment fonctionne un réseau de neurones ? Donc un réseau de neurones, on fait passer des inputs sur le réseau de neurones pour avoir des outputs. Une fois qu'on a les outputs, on va les comparer en fait, on va les soustraire parce que comparer, c'est soustraire -. On va essayer de comparer avec la vérité terrain. On aura une erreur. Et cette erreur, en fait, on va la dériver par rapport au réseau de neurones, par rapport aux variables qu'on avait, pour corriger le réseau. Et c'est comme ça qu'un réseau de neurones fonctionne. Donc une fois qu'on a les deux sorties, on va calculer la fonction de perte, donc l'erreur. Et une fois qu'on a l'erreur, on va corriger le réseau de neurones. Donc le réseau de neurones, il est corrigé euh... sur les deux tâches... avec les deux tâches, pardon, avec la tâche 1 et avec la tâche 2. Alors que dans l'état de l'art, en fait, les gens, quand ils se sont benchmarkés, ils sont... ils ont... ils se sont fixés que... ils ont pas fait du multitask learning, ils ont fait que l'apprentissage. Enfin, optimisé avec euh... la première sortie. Donc ils ont fait des réseaux convolutionnels, des réseaux récurrents. En fait, pas mal d'arch d'architectures : des réseaux base d'attention en fait, euh... des réseaux siamois, etc. On peut en citer plein, mais ils se sont benchmarkés avec d'autres solutions. Eux, le leur idée, c'était utiliser du multitask learning, parce qu'ils avaient pas beaucoup de données, pour donner cette information du euh... cette méta-information en fait et donner de la robustesse au au réseau de neurones. Donc, euh... c'est eux qui ont remporté le challenge [NOISE] avec pratiquement euh... 6 % de... en plus de... des... du reste en fait euh... des gens qui... qui... qui se sont benchmarkés. Donc euh, c'était un peu... enfin, c'était assez sympa, leurs résultats. Euh... nous, comment on essaie d'appliquer ça à la parole ? Donc j'ai essayé de voir un peu ce qui existait dans l'état de l'art euh... dans de la parole, et les gens, ce qu'ils faisaient, c'est que, on avait un réseau de neurones, donc on a la partie acoustique. On a un réseau de neurones en fait où il va prédire directement des subwords, des syllabes ou des caractères. Disons, des graphèmes. Et en fait, ce qu'ils évaluaient dans cet article, c'est qu'ils évaluaient la partie couche intermédiaire. Donc ils essayaient de faire du multask learning. Donc la tâche auxiliaire, la deuxième tâche, elle était pas à la sortie en fait, à la fin du réseau de neurones, mais elle était à une couche intermédiaire. Donc, ce qu'on dit, à chaque fois qu'on avance dans les couches profondes, on essaie d'apprendre des représentations. C'est pour dire, euh... à la première couche, on on essaie d'apprendre HommeFemme. Donc la classification HommeFemme, c'est plus simple, on peut l'avoir ici. Ensuite, aux couches précédentes, on va essayer de pro... de... de... de prédire les phonèmes. Ensuite, en couches d'après, on va essayer de produire... de produire en fait la prédiction caractères. Et donc du coup, ce qu'ils ont trouvé, c'est que en essayant d'utiliser ce type d'architecture donc, ce type d'apprentissage où les... l'apprentissage, elle se fait à la sortie finale et à la sortie intermédiaire donc la correction du réseau de neurones -, ça permettait d'avoir de meilleures performances par rapport euh... en fait, euh... à si on utilise directement avec une seule sortie euh... subword. Parce que cette tâche..., elle est compliquée à apprendre donc, l'apprendre direct, c'est compliqué. Mais euh... l'apprendre en essayant de prédire les phonèmes en plus permettait de réduire le champ de recherches ou enfin, permettait au réseau de... de neurones d'optimiser mieux. Donc la question qui se pose : est-ce que euh... si on utilise ça, est-ce que 100 heures suffisent ? Est-ce que 10 000 suffisent ? Est-ce que le résultat de 10 000 heures, on peut l'obtenir avec ça en 100 heures ? C'est les questions qu'on commence, nous, à se poser et qu'on y travaille, en fait. C'est l'objet un peu de... de mon de mon travail.
[speaker012:] Le... le multitask learning, ça revient pas à rajouter en quelque sorte des annotations ? Ça en revient un petit peu à l'apprentissage classique. On définit les tâches, en soi, ça définit des... des espèces d'annotations au réseau de neurones à prendre en compte.
[speaker003:] Euh oui oui, c'est exactement ça.
[speaker012:] Donc on revient en quelque sorte à mettre des annotations à nos données.
[speaker003:] On rajoute des annotations à nos données. Et c'est ce qui permet de réduire en fait...
[speaker012:] Alors pour...
[speaker003:] Oui, dites-moi.
[speaker012:] Pourquoi ne pas tout simplement rajouter des annotations au corpus de base ?
[speaker003:] Elles... elles... elles existent, ces annotations. Elles existent déjà. Par exemple, l'information HommeFemme, on l'a déjà. Euh... L'information phonétique, on l'a. L'information caractère, on l'a. Et en fait, c'est le fait d'utiliser les deux pour entraîner le réseau de neurones, est-ce que ça aide à l'apprentissage ou pas ? Donc, c'est... c'est un peu... ces recherches que j'effectue.
[speaker012:] Hum.
[speaker003:] Je cherche pas en fait à à essayer de labelliser avec euh... euh je sais pas, est-ce que la personne, elle parle elle parle à quelqu'un d'autre ou pas. Mais j'essaie, en fait, euh... d'utiliser les infos... les méta-informations que j'ai pour améliorer mon apprentissage. Et une fois que j'améliore mon apprentissage, ça veut dire que mon réseau, il est robuste euh... pour la tâche. Et euh... pour dire, en fait, entre deux parenthèses, là, ce qu'on voit, en fait, je veux pas trop rentrer dans les détails pour euh... pour ceux qui sont pas dans le domaine. Mais on essaie, en fait, de ne pas prendre une observation en entrée. On essaie de prendre euh... du contexte donc on prend pas, à chaque temps T, une seule observation. On prend l'observation a un temps T ou l'observation à un temps T-1 et en T temps T 1 par exemple pour avoir, en fait, euh... du contexte gauche et droite du phonème, qui va nous permettre d'avoir un apprentissage plus... plus robuste acoustiquement parlant. Euh... l'article en fait qui a... qui vient de... d'être publié, du coup-là, hier on a eu la réponse.
[speaker004:] D'être accepté. Il n'est pas encore publié.
[speaker003:] D'être accepté, oui. Il va être publié à partir de septembre. Et donc du coup, en fait, c'est qu'on essaie, nous, en plus de la prédiction caractères, de rajouter, en fait, l'utilisation... en fait, la prédiction consonnevoyelle et d'essayer de voir, est-ce que euh utiliser les caractères euh... avec... enfin, est-ce qu'utiliser la prédiction du caractère en tâche principale et en tâche secondairevoyelle, permettait d'avoir euh... une meilleure robustesse ou un meill un meilleur taux de reconnaissance. Donc, je vais un peu présenter le papier rapidement et les architectures, l'expérimentation, un peu les résultats, où est-ce qu'on est. Donc, on a essayé d'explorer, en fait, euh... tout ce qui est multitâche, donc apprentissage en multitâche en utilisant, en fait, euh... le deuxième type d'architecture que j'ai montré tout à l'heure. Une connectionist temporal classification. La tâche principale, c'est la tâche... c'est la prédiction de caractères. La tâche secondaire, c'est consonnevoyelle. Donc les deux prédictions, on les fait à la sortie du réseau de neurones donc on n'utilise pas dans une tâche intermédiaire. Là, les recherches en cours qu'on est en train d'effectuer, en fait, après ces évaluations-là, mais pour ce papier, on l'a pas proposé. On a remarqué que la partie multitâche en fait permettait d'améliorer euh... les... les résultats par rapport à une prédiction caractères directe. Je vais vous montrer après les résultats. Et en fait, l'idée qu'on avait, c'était : OK, on a deux sortiesvoyelle. Pourquoi pas les combiner, comment les combiner pour, euh... pour pouvoir avoir euh... une meilleure euh une meilleure reconnaissance comme l'a fait, en fait, Bhiksha Raj dans ce que je vous ai expliqué tout à l'heure. Donc euh... les architectures qu'on a essayé de... de mettre en place, en fait, pour ces recherches, donc on a les entrées en fait, les observations acoustiques, on a notre réseau de neurones. Les GRU en fait, c'est des euh... Gated Recurrent Unit. C'est un type de réseau de neurones récurrents. Je vais pas rentrer dans les détails. Mais au fait, à la sortie de ce réseau temporel, je vais essayer de prédire les caractères et de prédire les... les consonnesvoyelles. Donc ça, c'est le multitask learning standard. La deuxième technique, c'est de se dire : OK, je vais prédire, en fait, les caractères, mais aussi la sortie, je vais la multiplier par la matrice d'ontologie, qu'on a vue tout à l'heure dans l'articlevoyelle. Donc tout ce qui est B, D, E... euh enfin, tout ce qui est consonne, ça va être un 1. Tout ce qui est voyelle, ça va être un 0 par exemple. Et j'ai... j'ai construit une matrice où quand je multiplie, en fait, les sorties caractères, ça va me dire est-ce que le caractère qui a été prédit, c'est un... c'est un... c'est une consonne ou c'est une voyelle.
[speaker012:] Je suis pas sûr l'ontologie soit une bonne une bonne solution, parce que t'as deux deux classes de consonnes et de voyelles. Alors que tout à l'heure, l'ontologie, c'était une hiérarchie avec des relations de.....
[speaker003:] Donc du coup... Ouais.
[speaker012:] de généralisation spécialisée.
[speaker003:] Donc du coup, pour simplifier, en fait, la compréhension, j'ai dit ontologie, mais ça, c'est la... la catégorisation. Voilà.
[speaker012:] C'est une typologie.
[speaker003:] C'est une typologie consonnevoyelle, c'est pas vraiment une ontologie des caractères. Après, la troisième technique, c'est qu'on fait sortir, en fait, les caractères... la prédiction caractèresvoyelle, et on va multiplier par la matrice transposée pour avoir, en fait, la même... le même nombre de dimensions avec les caractères, en fait, avec les prédictions caractères et on va les additionner. Donc on va renforcer ou rappeler euh, à la... à la prédiction caractères que : hop hop hop, n'oublie pas qu'il y a consonnevoyellevoyelle que t'as eue déjà en bas et qu'on... qu'on rappelle quoi. Et donc du coup, en fait, on a... on a expérimenté nos... nos... nos travaux sur une base de données, en fait, de Wall Street Journal. C'est 100 heures de paroles lues du... du journal Wall Street Journal. Et en fait, ce qu'on a remarqué donc... donc... pour nos modèles-là, c'est l'état de l'art, là, c'est nos travaux, en fait, en deuxième partie. Après, pour les prédi... pour les valeurs en fait, c'est... c'est en errors rates. Donc on a la partie word error rate taux d'erreur mot -, la partie caractère error rate donc la valeur et on propose deux types de décodage. On propose directement des déco... ce qu'on appelle les crédits search, c'est qu'on n'utilise ni modèle de langage ni lexical. Quand on prédit, c'est ça, la prédiction caractères. Et on utilise, en fait, euh... la... le décodage à graphs, comme on l'a vu euh... dans le premier, en fait, système d'archi... enfin, dans le premier système traditionnel. Donc l'architecture réseau de neurones et graphs en plus. Donc on a les deux... les... les deux prédi... les deux... les deux évaluations.
[speaker004:] Comment se fait-il que du coup t'aies un WER avec le... ?
[speaker003:] Parce qu'en fait, en ayant le CER, on peut quand même donner directement le le word error rate, parce que c'est des caractères, c'est pas des phonèmes. Si c'était des phonèmes, on peut pas... la sortie phonétique, la comparer avec la réalité terrain. Mais vu que c'est une suite de caractères, on la compare directement avec la suite de caractères réels.
[speaker004:] D'accord.
[speaker003:] Pour avoir le caractère error rate et le word error rate, ça va être suite de...
[speaker004:] Avec le lexique et hum ?
[speaker003:] Non non, à chaque fois qu'on trouve une un espace, on dit que c'est un mot. Un mot, un mot, un mot, un mot. Et comparer euh... la vérité terrain avec euh... ce qui a été prédit, c'est euh... enfin, c'est le calcul du word error rate.
[speaker004:] OK.
[speaker003:] Tu vois un peu ?
[speaker004:] OK.... t'améliores à à 8,7 si tu...
[speaker003:] Mais, mais ça, c'est l'état de l'art hein, voilà.
[speaker004:] Oui, ça, c'est l'état de l'art.
[speaker003:] Ça, c'est les... c'est c'est un peu l'état de l'art sur sur cette partie.
[speaker012:] Certains mots diffèrent d'un seul caractère. Par exemple, ER au lieu de E accent aigu.
[speaker003:] Comment ? C'est faux.
[speaker012:] C'est faux ?
[speaker003:] C'est faux, oui. Ou euh il y a au pluriel et tu vois... enfin...
[speaker012:] E S et E ?
[speaker003:] Voilà, ouais. C'est ça la notion de word error rate. Euh... après, ce qu'on a proposé, c'est qu'Éric a fait un un modèle traditionnel TDNN. On est pratiquement à 6 %. Euh, du coup, les résultats qu'on a... que tu m'a donnés. Donc le TR3, ça veut dire qu'on prend contexte de trois des observations, non pas le T, on prend le T-1, le T et le T 1. Et donc, ce qu'on voit, c'est que notre première technique-là, le CTC, donc la technique avec le la loss function Connectionist Temporal Classification, qui est prédit directement sur les caractères. Donc il y a pas de multitâche learning, on voit bien qu'on est pratiquement à 7.4, qui est équivalent peut-être à l'état de l'art qu'ils ont publié, les gens, en fait, sur cette base de données. Mais après, quand on va... on va commencer à utiliser MLT1 donc, c'est le multitâche learning standard ; MLT2, c'est ce que j'ai proposé, en fait, c'est le multitask en utilisant l'ontologie base, en fait, la technique où on a le caractère, puis une matrice qui convertit les caractères en... en consonnevoyelle, et tout ça est optimisé. Et le troisième, c'est euh... faire sortir les deux et les additionner. Et ce qu'on voit... Voilà.
[speaker004:] Et la deuxième, elle est moins bonne que la première.
[speaker003:] Ce qu'on voit, c'est que la deuxième en fait, l'ontologie base, donc la technique euh... de... d'essayer de générer les ontologies, elle donne de moins bons résultats. Pourquoi ? Est-ce que la... le... la... les... la catégorisation consonnevoyelle n'est pas... n'aide pas au final la sortie caractères ? Oui, je... je sais pas. On essaie. En fait, j'ai des idées derrière sur ça, mais ça donne, en fait, ça donne ces résultats-là. Et on voit bien que le fait de... quand on a la... la sortie caractèresvoyelle, ça permet, en fait, d'avoir pratiquement des résultats qui sont très très comparables par rapport à... au système traditionnel à base de phonèmes. Donc là, c'est les prédictions caractères ; là, c'est les prédictions phoniques. Donc on arrive à prouver qu'on a pratiquement, par rapport à la méthode standard, 0 5 % word error rate en amélioration, qui est une amélioration pas très conséquente, mais à ce niveau de word error rate, c'est... c'est... c'est intéressant. Euh par la suite, on essaie... je sais pas si j'ai... je vais terminer... là, c'est des exemples de... de décodage. En fait là, c'est la vérité terrain. Là, c'est ce que le modèle monotask, donc prédiction caractères directe qu'il propose. Là, c'est le multitask learning à deux sorties et là, c'est le multitask learning à... avec notre technique qu'on qu'on a proposée. Euh... t'as... t'as la boîte... Là, il n'y a pas d'espace.
[speaker004:] La... aussi.
[speaker003:] Voilà.... Mais en tout cas en fait, ce que j'essaie là euh... dans un deuxième temps, c'est de créer la métrique CV error rate pour voir, euh... au niveau de catégorisation consonnevoyelle, est-ce que ça aide ou pas. Donc là, c'était... c'était juste euh... une représentation des résultats. Bon. Et du coup, par la suite, bon, je pense terminer un peu ma présentation. Sur quoi je travaille maintenant ? C'est d'essayer, en fait, d'avoir cet aspect, euh... le... que la prédiction auxiliaire, en fait, elle est dans une couche intermédiaire. Que je vois un peu quels sont les résultats, comment on peut utiliser ça et aussi apprendre sur trois bases de données. Donc apprendre sur Wall Street Journal qui fait 100 heures ; sur, en fait, une autre base de données qui s'appelle LibriSpeech, qui fait 1 000 heures. Et apprendre sur une troisième base de données, qui est le français en fait, ce qu'on s'intéresse, nous, ici à Linagora, et voir un peu quels sont les résultats, quels sont... qu'est-ce qu'on peut en fait en tirer euh... de l'utilisation de de ce type de technique. Est-ce que c'est adapté quand on a moins de données, et au final, si on a beaucoup de données on s'en fiche de rajouter de... de... de... de cette partie auxiliaires, donc tâche... tâche secondaire. Et un peu évaluer euh... toute cette partie. Donc voilà, si vous avez des questions.
[speaker004:] Et tu tu... pour l'instant, t'as pas... t'as pas de résultats par rapport à...
[speaker003:] J'ai pas encore au grand complet tous les résultats. Là, c'est c'est encore...
[speaker004:] Mais t'as... t'as une tendance ?
[speaker003:] Comment ?
[speaker004:] T'as une tendance ?
[speaker003:] Euh oui, la la tendance, c'est que le MLT, dans tous les cas en fait, ça marche mieux, même pour LibriSpeech pour les 1 000 heures.
[speaker004:] Vas-y... vas-y remontre combien de temps t'as...
[speaker003:] Le MLT standard, il est là. Il a même...
[speaker004:] Ouais. MTL, tu veux dire ?
[speaker003:] La MTL, pardon, excusez-moi. Donc le multitâche... le modèle multitâche, même pour les 1 000 heures, on a une meilleure euh... une meilleure euh... reconnaissance, donc un meilleur taux d'erreur par rapport à... aux simples. Le français là, je suis en train de... de le faire rapidement, parce que... enfin... de m'activer un peu. J'ai pas encore les résultats, mais je continue pour la suite, en fait.
[speaker004:] Et euh... et est-ce qu'avec 1 000 heures,... à dépasser le... le modèle classique TDNN ?
[speaker003:] Le modèle classique TDNN... ah non, j'ai pas... j'ai pas encore construit les TDNN sur LibriSpeech. Il faut que je... peut-être, ce serait sympa qu'on... qu'on le fasse peut-être avec Éric ou que je lance...
[speaker004:] Bah oui, parce qu'il va falloir... si tu veux comparer ce tableau-là avec le...
[speaker003:] Avec autre... oui, j'ai pas réfléchi à ça, ouais.
[speaker004:] Il faut que t'aies cette valeur.
[speaker003:] Ouais, parce que j'ai comparé qu'avec le... le normal que j'avais. Et... et du coup, pour le français en fait, je me suis lancé sur le français pour lancer déjà des expérimentations. Et je me suis lancé à rajouter aussi une métrique d'évaluation ici qui... ça... ça va être le CVER, donc le consonne and voyelle error rate, qui va nous permettre de voir l'intérêt entre ces deux-là, en fait. Donc voilà un peu pour faire ressortir, parce que là, en 0.6, 46.6 et 6.1 : OK, on a 0.5 au word error rate, mais en en CV error rate, euh... quel est l'intérêt d'utiliser CV error rate consonnevoyelle ? Pourquoi ne pas utiliser d'autres structures ? Donc, c'est ces questions-là que je me pose pour essayer d'améliorer la partie apprentissage. Pourquoi ne pas utiliser au final la ponctuation ? On peut utiliser et apprendre en même temps à prédire les caractères, en même temps prédire la ponctuation. Apprendre en fait
[speaker004:] Hum hum.
[speaker003:] d'autres...
[speaker004:] Ce serait bien, ouais.
[speaker011:] Tu... tu... peux... tu... tu peux enrichir la structure par une autre... enfin, faire ajouter une autre tâche par exemple, de garder le CV et ajouter un autre truc aussi ?
[speaker003:] on peut ajouter, euh... on peut mettre 10 quoi, mais du coup, euh... il faut voir euh... l'intérêt de rajouter, euh...... Tu vois, en plus de la recherche, qu'est-ce que ça apporte euh... de rajouter euh... ce type d'information.
[speaker012:] Pour le français, les consonnesvoyelles, est-ce que tu penses que catégoriser les caractères accentués est intéressant ? Pas uniquement faire des consonnes et des voyelles, mais tu sors aussi les caractères accentués.
[speaker003:] C'est... c'est des voyelles.
[speaker012:] Le E, le E accent euh grave, circonflexe, le A I. Le A I, ça se prononce é aussi.
[speaker003:] Ouais, ils sont... c'est des... c'est des voyelles.
[speaker011:] Des voyelles, oui.
[speaker012:] Oui, mais... Tu les tu les mets dans une catégorie à part, parce que le... le G E ne se prononce pas de la même manière qu'un G apostrophe A I. "GE et GAI".
[speaker003:] Tous les... tous les E accent... enfin, tous les accents en français... Non, mais...
[speaker012:] T'as le le A, le I...... t'as le A I.
[speaker003:] Et puis le J. Non non, le J, c'est j.
[speaker012:] Non non, je parle pas de J.
[speaker003:] En en point de vue phonétique où le...
[speaker012:] Non, non, mais je te parle, le caractère E et le... l'ensemble de caractères A I. Le A se prononce d'une façon ; le I d'une façon, mais le A suivi du I, il va être é.
[speaker011:] Oui, mais ça c'est......
[speaker003:] Oui. Et c'est le modèle de langage qui va...
[speaker012:] Oui, mais c'est des voyelles particulières dans la....
[speaker003:] En fait, c'est... Ouais.
[speaker012:] Ils ont pas la même fréquence qu'un A tout seul, un I tout seul.
[speaker003:] Ouais.
[speaker012:] Le E accent aussi... enfin, c'est une voyelle, mais c'est une voyelle particulière. Il ra... il rajoute...
[speaker005:] Phonétiquement, si...
[speaker003:] Phonétiquement, c'est... ouais, je t'explique. Phonétiquement, c'est pareil. Quand tu fais...
[speaker011:] Bah oui.
[speaker012:] Le E accent et le E ?
[speaker003:] Il est parti, le E...
[speaker011:] Le é et le A I, c'est la même chose.
[speaker003:] ... c'est la... c'est la phonétisation é.
[speaker012:] Est parti, parce que c'est un E S T,
[speaker003:] Non non, je parle... je parle... Non non...
[speaker012:] C'est pas forcément E.
[speaker003:] Je parle de la phonétisation. Quand tu entends :
[speaker005:] Phonétiquement...
[speaker012:] Oui ?
[speaker005:] Juste ce que tu entends ?
[speaker003:] il est parti ; t'as entendu le é ?
[speaker012:] Oui.
[speaker003:] Si tu connais pas...
[speaker012:] Mais en termes de voyelle, pardon, ouais...
[speaker003:] Je j'y j'y arrive, j'y arrive. Donc du coup, si tu fais un réseau de neurones qui prédit les phonèmes, t'auras le phonème é. Par contre, moi, je propose un réseau de neurones qui prédit les caractères. Donc j'ai une spécialisation, une compréhension de la structure de la langue, qui est représentée dans le réseau de neurones. Donc le réseau de neurones, il va voir, parce que c'est un réseau de neurones temporels -, il va avoir l'information qu'il a : il, puis là le é. Et lors des prédictions, il va prédire le E S T, malgré que le S T n'est pas prononcé. On ne fait pas : il Est. C'est pas l'Est républicain ou je vais vers l'Est.
[speaker012:] Hum hum.
[speaker003:] Bon. Tu... t'as... tu... t'as t'as compris un peu ? Et c'est ça qui est qui est intéressant dans... dans... dans ces types d'informations que de dire : OK, un data scientist peut faire ça. Parce que oui, il fait la suite caractères. Il met beaucoup de neurones ici. Et c'est les données 100 000 heures qui permettent, euh... pas... pas que 100 000, mais euh... c'est cette variabilité euh... de la structure du langage qui permet en fait... Du fait qu'il qu'il voit ça N fois, il va arriver à... à comprendre temporellement qu'il faut qu'il prédise ça à la place du A I. Mais par contre, pour ma tâche, euh... si j'ai euh..., j'ai, je vais faire consonne, voyelle, voyelle. Et je lui demande de me prédire consonne, voyelle, voyelle. T'as compris un peu ?
[speaker011:] Un slide... revenez juste un petit peu en arrière. Là oui, juste là. Dans la partie euh, euh... tu sais, tu avais parlé de catégoriser euh... par catégorie. Est-ce que c'est une partie qui va qui va être faite de manière manuelle, c'est-à-dire pré... préalablement avant de lancer ton ton ton process ou bien, c'est euh, euh... c'est euh c'est fait d'une manière... c'est fait à l'intérieur du du réseau ?
[speaker003:] Par exemple, pour le consonnevoyelle, c'est moi qui... qui l'ai automatiquement généré. Quand j'ai une consonne, je fais C. Quand j'ai une voyelle, je fais V.
[speaker011:] Oui, ça, c'est... ouais, et euh et pour euh... donc du coup, c'est c'est la même chose pour les autres quoi, donc pour les catégories Nature, etc., c'est
[speaker003:] Voilà. Eux, ils ont ils ont fixé le...
[speaker011:] c'est... ? D'accord, OK.
[speaker003:] Après, pour... par exemple les métadonnées comme HommeFemmeFemme, par exemple. Mais ma technique, c'est du supervisé à 100 %. Il y a pas de non supervisé.
[speaker011:] Ça marche.
[speaker003:] OK.
[speaker004:] OK.
[speaker003:] T'as une question, non ? Vas-y, c'était... j'ai essayé de simplifier, euh...
[speaker006:] Alors à la place du consonnevoyelle, tu pourrais vraiment mettre n'importe quoi ?
[speaker003:] Ouais.
[speaker006:] Tant... tant que c'est annoté, c'est ça ?
[speaker003:] Tant que je peux l'annoter automatiquement. Tous les caractères par...
[speaker006:] Par exemple, consonnevoyelle, ça veut dire que t'auras un gros morceau de texte et... et en fait, il va remplacer toutes les...... par des...... par des consonnes ou voyelles en fait ?
[speaker003:] Ouais.
[speaker006:] OK. Et du coup, tu pourrais mettre par exemple, si c'était annoté, quand....... Si t'as un texte où les gens disent : ouais ça, ça a l'air faux, ça a l'air vrai, juste en fonction de l'intonation des gens, et tu pourrais mettre cette information et...
[speaker003:] Véri... elle est véridique ou elle est... véridi ? Oui oui. Tu peux dire : ça, c'est une question, ça, c'est pas une question.
[speaker006:] Ouais.
[speaker003:] T'as... t'as beaucoup de métriques : la sévérité... enfin, t'as t'as beaucoup de métriques que tu peux faire sortir du... de... de la voix, en fait. Est-ce que la personne, elle parle bien ? Est-ce qu'elle parle pas bien ? Je peux dire, euh... là, il y a... il y a eu en fait une publication où à partir de la voix, ça re reconstruit... ça reconstruit en fait le visage de la personne. Donc si je prends un accent un peu afro-américain ou un accent et tout ça, c'est... c'est un peu, tu vois, à la limite... bon, mais...
[speaker006:] Et ça, tu l'as... tu l'as choisi de manière arbitraire, le voyelleconsonne ou t'as des études qui ont été faites ?
[speaker003:] C'est ça. C'est que comme première recherche, je me suis dit : je commence par consonnevoyelle.
[speaker006:] Et comme ça, tu t'as voulu juste comme ça ?
[speaker003:] Deux types... voilà, deux types de structure.
[speaker006:] Et du coup...
[speaker003:] J'ai lu cet article...
[speaker004:] Ça a l'avantage d'être facile à annoter.
[speaker003:] Voilà, ça a... ça avait l'a l'avantage d'être facile à annoter. Après, il y a... il y a d'autres structures euh... HommeFemme. Il y a des structures euh... plosives... Euh... En fait, pour les phonèmes, t'as des phonèmes qui explosent, t'as les phonèmes qui sont avec la la... les lèvres. T'as les phonèmes qui sortent, euh... Et du coup, t'as... t'as différentes catégories où on peut s'amuser à les regrouper comme ça et à apprendre euh... pour aider le réseau de neurones. Ça peut aider peut-être par la suite, euh... on va avoir un... un réseau de neurones euh... vraiment très petit à optimiser avec euh... qui tourne sur une Raspberry Pi ou sur un téléphone. Et avec ce type de... d'approche, on peut le faire, parce que ça permet euh... d'aider le réseau qui n'a pas beaucoup de paramètres à apprendre et euh... c'est juste ça. Enfin, je pourrais mettre cette... cette... cette... cette expérience. Ce c'est assez sympa de dire... de voir...
[speaker006:] Tu pourrais avoir des... des grosses variations dans le résultat euh... en utilisant autre chose que des consonnesvoyelles à ton avis ?
[speaker003:] Oui, on essaie de voir, euh... d'utiliser d'autres... d'autres catégories pour voir. On essaie de réfléchir à ça.
[speaker006:] OK.
[speaker003:] Et on va... on va essayer de l'expérimenter. Oui ?
[speaker010:] La sortie euh... consonnevoyelle, elle est appliquée en division de couches cachées c'est ça, non pas la sortie hors de... d'autres catégories ?
[speaker003:] Là, sur cette expérimentation... sur ce papier, je l'ai utilisée en... à la sortie. Je l'ai utilisée à la sortie vraiment et euh...
[speaker010:] Donc... des réseaux de neurones.
[speaker003:] Voilà, c'est les deux...
[speaker010:] Non pas le....
[speaker003:] Voilà. Et et ce que je suis en train de faire là euh... maintenant, en fait, c'est d'appliquer euh... ce genre de technique où je l'utilise euh... à une couche intermédiaire, dans une couche cachée. Et...
[speaker010:] Et le choix de la couche cachée ?
[speaker003:] [NOISE] C'est ça, j'utilise... je fais toutes les expérimentations : couche 1, couche 2, couche 3, [NOISE] couche 4 jusqu'à... jusqu'à la dernière couche... enfin... et du coup, ce que j'ai remarqué, c'est qu'à la couche intermédiaire, [NOISE] j'utilise un réseau de neurones de six couches, à la couche intermédiaire, à la quatrième, c'est là où j'ai vraiment les meilleures performances pour ces deux.
[speaker012:] Jacques, il a une question.
[speaker010:] Expliquez pourquoi.
[speaker003:] Euh...parce que la représentation en fait, t'as les premières couches qui te permettent de décoder en fait euh... l'information acoustique. Après, à partir de la quatrième couche, il commence à... à faire sortir en fait des... des connaissances euh... à partir des représentations de la troisième couche. Et c'est là où il arrive à apparemment avoir une information, la meilleure information pour consonnevoyelle. Et quand on monte à la cinquième et à la sixièmevoyelle en fait, euh... elle est mal propagée à chaque fois qu'on monte en... en réseau. Donc à la quatrième, elle est au summum. Donc euh... après, à la cinquième, à la sixième, elle commence un peu à s'estomper. Donc euh peut-être il y a une partie modélisation du langage en fait, euh...donc la suite des caractères, etc., qui... qui est faite. Mais du coup, elle est moins bien qu'à la quatrième couche. Et on va essayer de pousser ces recherches un peu. On va essayer de comprendre toute cette partie.
[speaker012:] Jacques, il a une question.
[speaker003:] Jacques, oui ?
[speaker011:] Tu m'entends ?
[speaker003:] Oui, on t'entend.
[speaker013:] Oui oui, j'avais une question. En fait, j'ai lu les euh les commentaires que t'ont faits les euh... les jurys.
[speaker003:] Ouais ?
[speaker013:] ..., dans ton papier, t'as parlé aussi de réduction du temps de... d'apprentissage.
[speaker003:] Ouais.
[speaker013:] Euh, ouais. Et en fait, j'aimerais... savoir en quoi euh... le fait de faire du multitask learning, ça te permet de de réduire euh... l'apprentissage par rapport à une... par rapport à un apprentissage classique, euh..........
[speaker003:] Oui. Mais en fait, ce que ce que j'ai parlé comme optimisation, c'était pas euh... c'était pas la réduction de temps en utilisant le multitask learning. C'est la réduction de temps en utilisant cette technique de regrouper en fait euh... les entrées. Donc d'avoir du contexte du contexte, euh... on crée en fait à chaque fois où je prends le T et le 1... et le T 1, en fait, je le regroupe. Puis je saute de deux, quand le T 4 et le T 5, je le... j'ai les concatène. Et en fait, c'est cette technique qui m'a permis euh... de pratiquement réduire de... de moitié, en fait, le temps de calcul en en... en améliorant les performances. Mais c'était pas le multitask learning qui m'a permis euh... qui m'a permis de réduire le temps.
[speaker010:] C'est comme si t'as pris une fenêtre de 10 milliseconde, c'est ça ? Au lieu de d'écrire le 10 milliseconde ?
[speaker003:] C'est comme si, ouais, ouais.
[speaker010:] C'est pas intéressant... de... d'augmenter déjà la taille de la fenêtre au lieu de compléter les métriques ?
[speaker003:] Je... c'est pas le but de mes recherches. [NOISE] Ouais. Je peux... en fait, c'est des améliorations qu'on peut faire, mais...
[speaker010:] Tu m'as compris, c'est ça ?
[speaker003:] Comment ? Oui, je t'ai bien compris.
[speaker010:] Mais si tu... c'est comme si t'as pris une fenêtre de 20 millisecondes ?
[speaker003:] Voilà.
[speaker010:] Donc, ce sont deux frames de 20 millisecondes.
[speaker003:] Ouais.
[speaker010:] Qui couvrent une séquence d'une seconde.
[speaker003:] Non non. C'est... c'est pas pareil de faire une seule fenêtre euh... qui est calculée euh... avec 20 millisecondes que de faire une concaténation de deux fenêtres euh... sur 10 millisecondes. C'est pas pareil.
[speaker012:] C'est un choix arbitraire la taille de de la fenêtre ?
[speaker003:] C'est généralement ce qui est utilisé dans l'état de l'art.
[speaker010:] Mais si tu concatènes plus que deux...... ?
[speaker003:] J'ai pas fait ça, mais ça permet d'avoir une robustesse. On le voit sur Kaldi en fait, on utilise pratiquement trois à gauche, trois à droite le contexte....
[speaker010:] Mais ici tu prends deux fenêtres et tu glisses vers les deux deux prochaines fenêtres, c'est ça ?
[speaker003:] C'est ce que je fais, oui. Non. Non, non, non. Ouais.
[speaker010:] Et on croit, tu fais fenêtre par fenêtre et ensuite donc t'as juste compté. C'est pas le... C'est juste tu prends deux fenêtres deux fenêtres.
[speaker003:] Je prends deux fenêtres et je saute... voilà, ouais, hum.
[speaker010:] Tu prédis... tu prédis donc sur deux fenêtres.
[speaker003:] Ouais, c'est c'est exactement ça. Bon, OK, eh ben, merci de votre écoute.
[speaker004:] ... Merci.
[speaker001:] Merci à tous.
[speaker013:] Merci.
[speaker002:] Merci à...