[speaker001:] [NOISE]
[speaker002:] Qu'est ce qui se passe ?
[speaker001:] Non, j'étais en train de voir ce qu'il m'avait envoyé ce matin. Parce que euh en fait, là, il va en parler un peu, mais du coup, la perplexité, euh... on a... on a un moins meilleur euh... perplexité. Par exemple, on a...
[speaker002:] Un moins meilleur ? Ça veut dire un plus mauvais.
[speaker001:] Ouais
[speaker002:] [NOISE]
[speaker001:] plus mauvais un plus mauvais.
[speaker002:] Hum hum.
[speaker001:] Mais du coup, la perplexité, elle est calculée sur euh... le nombre de vocabulaires. On a 300 000 à la place.
[speaker002:] Ouais.
[speaker001:] Il arrive à avoir 12 %, ou un truc comme ça... enfin, on arrive à descendre. Donc du coup, bon.
[speaker002:] Attends, 12 % de quoi ?
[speaker001:] De word error rate.
[speaker002:] Ah, du coup, la perplexité est moins bonne, mais le word error rate euh progresse ?
[speaker001:] Voilà. Et le... la formule... la formule de perplexité du coup, elle est comparable uniquement quand t'as le même... les mêmes vocables...
[speaker002:] C'qui est
[speaker001:] enfin, le même nombre de vocabulaires.
[speaker002:] euhum, bon on va en discuter,....
[speaker003:] ... 12 % ?
[speaker002:] huhum
[speaker001:] 12 et quelques, ouais.
[speaker003:] C'est quoi... quand vous avez fait quoi ?
[speaker001:] et euh Quand on lui a dit prend tout le modèle de langage sans... sans... puisqu'il faisait du pruning, des trucs, des... des... enfin, il faisait des... disons des...
[speaker003:] Elle fait quelle taille le modèle ?
[speaker001:] Il fait 2 gigas.
[speaker003:] Ah, sans pruning, il fait 2 gigas ?
[speaker001:] Ouais.
[speaker003:] Ah, mais c'est 13 %, 12,95.
[speaker001:] Ouais, truc comme ça. mais... mais...
[speaker002:] [NOISE]
[speaker003:] Ça me rappelle les... tu achètes des choses 0,99 %
[speaker002:] Mais
[speaker003:] euh... 0,99 euros, mais c'est 1 euros.
[speaker001:] 19 euros hum
[speaker003:] mais c'est 1 euros.
[speaker001:] [NOISE] non non mais Oauis
[speaker003:] C'est d'l'arnaque
[speaker001:] Mais, mais celui-là, c'est... c'est pas le le dernier euh.
[speaker003:] Ah, OK.
[speaker001:] Il a... il y a d'autres euh
[speaker003:] d'accord
[speaker001:] [NOISE] Mais du coup, bon Oauis attends vas y parles
[speaker004:] oui, ça m'nerve
[speaker001:] vas y, bonjour
[speaker002:] Bonjour
[speaker004:] vous nous voyez ?
[speaker002:] Oui oui, on vous voit, mais vous, vous voyez nos pieds, désolé, parce qu'on n'a pas la... la webcam.
[speaker001:] Coucou
[speaker002:] [NOISE]
[speaker005:] Enchanté.
[speaker001:] Tu nous entends là ?
[speaker002:] [NOISE]
[speaker004:] Enchanté
[speaker005:] Ouais mais bon
[speaker001:] [NOISE].... Tu... tu nous entends euh... Thomas ? [NOISE] [NOISE]
[speaker002:] Mais qu'est-ce qu'ils font ?
[speaker001:] Je sais pas s'il nous entend, là.
[speaker004:] Ouais, je t'entends, ouais.
[speaker002:] OK.
[speaker001:] Ok, ok super [NOISE]
[speaker004:] Attendez, je vais redémarrer avec lui.
[speaker002:] Pourquoi ?
[speaker001:] [NOISE] Ouais, vas-y. [NOISE] Là, tu nous entends, Thomas ?
[speaker004:] ... Ouais.
[speaker001:] OK.
[speaker002:] [NOISE] Euh mm, mets-toi peut-être plutôt de ce côté-là, à moins que tu tiennes vraiment à rester en rang d'oignons avec tes collègues.
[speaker005:] d'accord, oui oui bien sûr
[speaker002:] [NOISE]
[speaker005:] Guillaume
[speaker002:] euhmm...
[speaker005:] [NOISE]
[speaker002:] euh, donc simplement pour...
[speaker001:] Tu lui as dit d'enregistrer ?
[speaker002:] Ouais, c'est... il l'a lancé, ouais.
[speaker001:] OK.
[speaker002:] euh, [NOISE] Simplement, puisqu'on enregistre euh... et pour les... les besoins de l'enregistrement, on fait comme euh... on va essayer d'enregistrer le... tout le monde. C'est... on... on... on essaie aussi de... d'enregistrer Thomas. On va on verra ce que... ce que... ce que ça donne avec euh... avec quelqu'un à distance. Euh... mets... mets peut-être le truc sur, parce que c'est... c'est...
[speaker001:] Voilà, comme ça bon.
[speaker002:] C'est bon ?
[speaker001:] OK.
[speaker002:] Allez, affiche-les, eux, c'est... c'est... c'est mieux que... que de...
[speaker001:] c'est plus
[speaker002:] que Qu'on voit nos pieds.
[speaker001:] Voilà
[speaker002:] Euh... ce qui est d'un intérêt assez restreint.,
[speaker004:] Euh... rapidement, excuse-moi.
[speaker002:] Ouai ?
[speaker004:] En fait, y a il y a pas mal de bruits là au niveau du micro, je sais pas si euh... si vous avez un problème.
[speaker002:] Ah
[speaker001:] je... euh, je vais voir.
[speaker005:] T'es sûr que tu as sélectionné le...
[speaker001:] ouais t'as le Jabra ?
[speaker003:] Non, c'est pas Jabra Utilise l'autre Yeti. Non, l'Yeti.
[speaker001:] Le Yeti, il est fait pour...
[speaker002:] Le... non, le Yeti, c'est pour...
[speaker005:] Pardon, ouais.
[speaker002:] c'est pour l'enregistrement.
[speaker005:] ouais ouais
[speaker001:] Bon, je vais essayer de réduire...
[speaker002:] Peut-être réduis un peu le son. Qu'est-ce que t'en penses, là ?
[speaker004:] On dirait un bruit d'aspirateur en fait, c'est euh... ils passent l'aspirateur dans la pièce d'à côté ?
[speaker002:] ah, un bruit d'aspirateur Non, pas vraiment, non. Non, non, il y a pas de bruit de fond ici.
[speaker004:] OK. Bah attends.
[speaker001:] Je vais... Je vais voir là. Attends. Entrer.
[speaker004:] Là, c'est bon là.
[speaker001:] Là, c'est bon ?
[speaker004:] Ouais, ouais.
[speaker001:] OK, bon. Eh bah super.
[speaker002:] [NOISE] Euh... oui, tout d'abord bienvenue donc à... rappelle-moi ton prénom, s'il te plaît.
[speaker006:] Alain.
[speaker002:] Ah. Huma ?
[speaker001:] Comment ?
[speaker006:] Alain.
[speaker002:] Alain, pardon. Bienvenue à Alain.
[speaker006:] Merci.
[speaker002:] Euh... donc on a discuté l'autre jour, mais les autres te connaissent pas. Euh... donc bon, ju juste pour t'expliquer un peu le... le... le truc. Comme on enregistre, on... on... on a un scénario un peu... un peu formel où on fait un... une... un premier tour de table, où chacun, mais se présente extrêmement brièvement. Juste pour en fait avoir la signature vocale. Euh... Et... Et ensuite, l'objet de... de... de cette... de cette réunion, bon, que je rappelle d'ailleurs dans le deuxième point. Comme d'habitude, mais en... en... ensuite, chacun prend la parole euh... à son tour pour euh... un peu euh... expliquer euh... ce qu'il a fait et quels ont été les... les... les résultats de... de... de... de la semaine. Et puis, sur quoi il va travailler la semaine prochaine. Et voilà, euh... en gros... en gros, c'est le... le... le... le scénario. On s'autorise bien sûr à euh... discuter chaque... chaque point, euh... ensemble, et c'est même l'intérêt de aussi de l'enregistrement, d'avoir... d'avoir des... des échanges euh... entre les différents participants.
[speaker006:] OK.
[speaker002:] Voilà donc, je propose de... de... de commencer donc par notre... par le... le... le tour de table. Alors, LinTO démarre la réunion.
[speaker003:] OK. Julien, ingénieur R&D à Linagora.
[speaker001:] euh Guillaume, doctorant en... en reconnaissance automatique de la parole.
[speaker005:] Gérard, euh ingénieur des recherches à Linagora.
[speaker002:] Donc, Frédéric Petit, Responsable du groupe R et D.
[speaker004:] Euh... Thomas, ingénieur R et D à Linagora.
[speaker002:] Ouais, vas-y.
[speaker006:] [NOISE] Alain stagiaire euh... chez Linagora.
[speaker002:] Euh Donc, l'objectif de de la réunion est de faire le point sur les activités menées euh... dans le domaine de la reconnaissance de... de la parole durant cette semaine. Eh bah, Julien, je te propose de... de... de commencer.
[speaker003:] Euh OK. Du coup, cette semaine, en fait, j'ai continué le... le travail que je faisais déjà la semaine dernière, c'est le travail sur les... sur les systèmes text to speech. Essayer de... d'entre implémenter, entraîner un modèle en anglais, dans un premier temps. Après... après, sur les données en français pour euh... pour tester l'augmentation des données avec les systèmes TTS. Euh, cette semaine j'ai continué et j'ai... j'ai déjà une base en anglais sur laquelle je travaille. Euh... Je suis plus sur l'implémentation. En ce moment, j'ai pas lancé un entraînement spécifique. J'essaie d'implémenter des choses. J'avais... j'avais quelques soucis, mais... mais la bonne chose, c'est que dans ces systèmes TTS, il y a déjà des implémentations sur GitHub. Du coup, je pense que je vais prendre beaucoup plus que je croyais sur les implémentations. Au début, je me suis dit : "je vais réimplémenter quelques trucs", mais euh... j'ai trouvé des implémentations... enfin, par exemple Nvidia ont une implémentation du système là, qu'ils ont utilisée pour euh. Je pense qu'ils ont urilisé, ouais, je pense
[speaker002:] Pour le papier ? Hum, hum.
[speaker003:] que que que c'est le même qu'ils ont utilisé pour le papier. Il faut quelques modifications et euh... il y a des... il y a des grosses parties, il y a des grosses briques qui sont déjà disponibles en open source, quoi.
[speaker002:] Hum, hum.
[speaker003:] Mozilla aussi, ils ont une implémentation et elle est... elle est vieille. Ils utilisent pas le même algo, mais il y a des... par exemple, pour entraîner, ils prennent l'audio, ils le transforment en un spectrogramme. Pas le même qu'on utilise pour la reconnaissance vocale, mais l'implémentation de cette transformation elle y est sur le GitHub par exemple. On n'a pas besoin de la réimplémenter nous-mêmes. Donc euh... j'enlève des briques à gauche et à droite et j'essaie de... j'essaie de faire l'essai, d'implémenter le système.
[speaker002:] Oui, puisque l'idée, c'était de... d'essayer de euh refaire euh... tourner les... l'exemple... enfin, le... leur... les... les résult résultats qu'ils donnent, eux, pour voir si on obtenait les mêmes.
[speaker003:] Ouais
[speaker002:] Donc pour l'instant, c'est... c'est encore en cours.
[speaker003:] ... c'est encore en cours. oh Au début, je me suis dit peut-être, c'est plus rapide si je refais quelques trucs."
[speaker002:] Hum, hum.
[speaker003:] Parce que des fois, quand tu as...tu as... tu lis le code et tu comprends pas forcément ce qu'ils veulent des..., et... ils ont des objectifs un peu pas toujours les mêmes. Mais finalement, non, en fait, il y a des briques où ça prend beaucoup de temps si je les fais moi-même. Donc euh, je vais je vais plus les prendre sur sur des DIPO open source, comme ça.
[speaker002:] OK.
[speaker003:] euh En fait, c'est tout bon pour moi.
[speaker002:] OK. Guillaume ?
[speaker001:] À moi. hhh Donc du coup, moi, de mon côté... enfin, avant de commencer peut-être, euh... Julien, t'as... t'as tout un travail sur du Speech qui a été fait. Et j'aimerais bien peut-être avoir accès euh... à ton code d'avant, tout ton code d'avant, parce que euh en fait, j'ai... j'ai ma... ma technique là, de... enfin, sur quoi j'ai publié, et j'aimerais bien en fait reprendre rapidement, par exemple, lancer des scripts sur du français. Donc si t'as data preparation de Ester et EPAC, etc., enfin, sous forme caractères, tout ça, j'aimerais bien...
[speaker003:] euh mm OK,
[speaker001:] on on regardera
[speaker003:] rappelle-moi lundi. appelle moi lundi
[speaker001:] je vais...
[speaker003:] ouais
[speaker001:] organiser tout ça et je te donne un accès.
[speaker003:] ok ouais
[speaker001:] Non, mais... enfin,
[speaker002:] C'était... c'était quoi ? J'ai... j'ai pas compris le... le point.
[speaker001:] juste un accès.
[speaker003:] En fait, il voulait que je... je lui partage quelques... quelques trucs que j'ai faits euh... avec le système Keras de Speech To Text.
[speaker002:] [NOISE] Hum, hum.
[speaker003:] Et euh... et
[speaker001:] Ouais,
[speaker003:] je... je vais le faire.
[speaker001:] par exemple euh... enfin, tout le travail que j'ai fait sur Wall Street Journal et LibriSpeech là, j'ai envie de lancer euh... sur euh... le français pour voir ce que ça donne.
[speaker002:] Oui, hum, hum.
[speaker001:] Et donc du coup en fait, pour aller rapidement, Julien, il a fait un travail de prétraitement euh...
[speaker002:] Ah, des données, parce que les formats sont pas les mêmes, etc.
[speaker001:] Voilà ouais voilà
[speaker002:] Hum, hum.
[speaker001:] c'est c'est pour aller plus rapidement.
[speaker003:] Je te rappelle...
[speaker001:] [NOISE] ouais Non non, t'inquiètes. Et... Et donc du coup, moi, pour euh... pour ce que j'avais fait la... la semaine passée, en fait, j'ai fait beaucoup de livrables. On était, en fait, avec Gérard, il y a la remise de open pass, du projet open pass. Et donc du coup, euh... on a... on a travaillé un peu sur ça. On a aussi travaillé en fait sur euh... pour le LinTO, en fait, pour l'assistant vocal, on a... enfin, pour Alain, on a deux systèmes. On a un système de reconnaissance de la parole à large vocabulaire, donc euh... un système euh... qui est gourmand en consommation CPU et mémoire, donc il est sur un serveur. Mais aussi pour... pour des commandes... enfin, pour le cas d'usage d'une réunion euh... d'une salle de réunion, on a en fait des commandes spécifiques : "allume la lumière, donne-moi la réunion, enfin, le résumé de la réunion de tel jour". Euh... Il y a pas mal de cas d'usage. Et en fait, on a... on a fait un... un petit système qui utilise euh... la... la même architecture de reconnaissance phonétique euh... que le gros système. Mais du coup, euh... pour la partie euh... construction du mot, en fait, on utilise des techniques euh... plus light pour avoir un modèle plus light. Et donc du coup, dans le cadre de LinTO, on a une évaluation du gros modèle donc on a un corpus pour se benchmarker, pour se comparer. [NOISE] Mais pour le petit modèle, on sait qu'il fonctionne et il fonctionne. Mais du coup, euh... dans le cadre du projet, on n'a pas d'évaluation en termes de taux d'erreur, euh... en termes de n tension error rate par exemple. Et donc, ce qu'on a fait cette semaine avec Gérard, c'est que on a fait un scénario en fait de 13 phrases issues des commandes de... de LinTO. Et l'idée, c'est que c'est... on a enregistré 16 personnes à mon laboratoire, en fait, ici à Toulouse. 10 hommes et euh... 6 femmes, dont Anne en fait, une collègue à nous. Et l'idée, c'est d'enregistrer donc on a 16 fois 13 enregistrements. Et l'idée, c'est de faire passer un système d'évaluation, donc on va calculer le word error rate et le concept error rate, qui est la détection des concepts et des intentions est d'avoir, en fait, euh... une évaluation de notre système commande pour la revue LinTO. Donc là, c'est fait. Les enregistrements, on les a terminés hier.
[speaker002:] Hum, hum.
[speaker001:] Aujourd'hui, je vais voir soit avec Samy, soit je le fais, moi, en fait, parce qu'on a directement accès au système commande, que voilà, je requête avec les waves pour avoir la transcription.
[speaker005:] Ça dépend. Quand tu disais qu'on a un modèle commande, mais euh... Frédéric, j'ai une question : est-ce qu'on va utiliser un modèle dédié sur [NOISE] juste entraîné sur ces commandes ou bien un modèle commande entraîné sur sur plusieurs skill ?
[speaker002:] ah oui. C'est... c'est... c'est une bonne... c'est une bonne question.
[speaker001:] non on
[speaker002:] oui
[speaker001:] On va utiliser le LinTO en fait,
[speaker005:] LinTO n'est pas encore fixé,
[speaker001:] le modèle LinTO qu'on...
[speaker005:] c'est ça le problème. On n'a pas encore les différents skill de LinTO.
[speaker001:] Ouais, on va... enfin, celui qui a le... le different skill, on peut pas tuner
[speaker005:] [NOISE]
[speaker001:] sur le corpus euh.
[speaker005:] ouais Ouais, bien sûr.
[speaker001:] ouais Puisque sinon, on aura 0 %, quoi.
[speaker002:] Oh oh oui, oui, oui. Ah bah, il y a des... il y a des chances. Euh... ceci dit, tu peux pas non plus prendre un... un modèle commande qui n'a rien à voir avec un euh... avec ce... ce scénario.
[speaker001:] Mais ce scénario en fait, on l'a extrait euh... des... du NLU, des skills NLU, c'est bien ça ?
[speaker003:] Oui, mais euh...
[speaker002:] De... du s du scénario euh... de... du CES, c'est ça ?
[speaker001:] Non, non.
[speaker005:] [NOISE] Ouais, on a utilisé quelques skills à CES, pour CES.
[speaker001:] ouais, je sais p
[speaker002:] Parce que, il faudrait que vous preniez un scénario un peu plus un peu plus large...
[speaker005:] Oui, d'accord.
[speaker002:] Qui inclut ces ces commandes...
[speaker005:] Oui.
[speaker002:] Hein ? Puisqu'on on sait très bien que de toute manière, si euh... si euh... les commandes ne sont pas incluses, elles ne seront pas... elles ne seront pas reconnues.
[speaker005:] Ouais ouais
[speaker002:] euh hum Après, si elles sont inclus, elles ne sont pas forcément reconnues, c'est ça qu'on... que l'on veut mesurer. Si on prend exact., si on tune sur... sur... si on dit : "Le modèle, c'est 13 commandes", bon là, je vous fais confiance, vous allez me... me générer un modèle aux... aux... aux petits oignons et... et... et ça va faire 0 % d'erreur. Mais euh... Mais il faut prendre un modèle un peu plus...
[speaker005:] Riche.
[speaker002:] Un peu plus riche.
[speaker005:] D'accord.
[speaker002:] Euh... Mais effectivement, il faut le définir a priori euh... parce que euh... si on fait euh... si on fait changer... si on change ce... ce modèle-là, on saura plus qu'est-ce qu'on mesure mais.
[speaker005:] C'est ça, c'est ça.
[speaker002:] hum hum oui, en fait, c'est pour ça ce que tu dis c'est c'est oui euh
[speaker001:] Mais en tout cas, en fait euh Moi, vous me dites quel euh... quel euh... quel service requeter pour avoir la transcription et je... et je le ferai après, les skills euh... combien vous allez prendre, je sais pas, on peut voir avec Étienne et avec Éric là, après.
[speaker005:] Et on discutera après. pour euh...
[speaker001:] ouais pour fixer, en fait, le modèle euh... LinTO,
[speaker005:] ouais
[speaker001:] et même dans notre description dans...
[speaker005:] le rapport
[speaker001:] dans le... le... le... le rapport,
[speaker005:] oui oui il faut
[speaker001:] on dira : "Voilà, le LinTO commande et contient euh...
[speaker005:] tel skill ouais
[speaker001:] tel skill", par exemple, euh... 50 skills...
[speaker002:] Hum, hum.
[speaker001:] Et nous, on a testé...13 attention de ces 50.
[speaker005:] Ouais, dans le, c'est ça. oui c'est ça OK.
[speaker002:] Hum, hum.
[speaker001:] Donc ça donnera ça donnera un peu une... OK. Donc euh... voilà pour euh... le retour sur euh... le LinTO, donc euh... rapidement, et en fait, j'ai discuté déjà avec Gérard là, ce matin, je vais juste le répéter pour euh... pour le reste de l'équipe. En fait, Nvidia, euh... ils ont développé euh... en fait, vu que sur les grandes plateformes, que ça soit Google, Amazon, les clusters de GPU, en fait, euh... les clusters de calcul, que ça soit à... ici, en fait, à l'IRIT, en fait, on n'a pas accès directement à la machine physique, on a accès à des... à des serveurs virtuels ou à des services virtuels dans lesquels on a... Pytorch a installé les Toolkit d'apprentissage automatique qui en qui sont installés, et on va exécuter notre code via ces... ces... ces virtual machines. Et donc du coup, en fait, euh... il y a beaucoup de pertes de performance en termes de temps quand on utilise euh... ces services euh cus... en fait, Customer euh... Build quoi, enfin, et c'est buildé par des gens issus de la recherche, donc enfin, on installe sans optimisé sans rien. Donc du coup, Nvidia en fait, là, ça fait 2 3 semaines, ils ont proposé un nouveau service, ça s'appelle Nvidia GPU Containers, ngc.nvidia.com et en fait, ce qu'ils ont fait, c'est que ils ont repris tous les projets euh... de référence très connus, par exemple Pytorch, par exemple Kaldi, ce qui nous... ce qui... ce qui nous intéresse, Matlab, ils ont pris vraiment des... des projets très connus et ils les ont recompilés à la main depuis les sources en optimisant les... les accès vers la GPU via la virtual machine. Et donc du coup, ils proposent en libre accès le téléchargement de ces images-là euh... sous forme d'images Docker qu'on peut utiliser et donc du coup, on a fait un benchmarking hier parce que nous à l'IRIT, ça nous intéressait de les utiliser et on a pratiquement une amélioration de 30, 37 % plus exactement sur mon cas d'usage, en termes de temps de calcul.
[speaker003:] Ça s'appelle comment ?
[speaker001:] euh Ngc point nvidia point com
[speaker003:] C'est nouveau ?
[speaker001:] et Ouais, ouais, ça vient de sortir là, ça fait pas longtemps et euh...
[speaker002:] C'est intéressant, ouais. Hum, hum.
[speaker001:] Et du coup, c'est intéressant parce que euh... on voit bien que il y a une limite en fait quand on nous fait... on fait nous-mêmes euh... notre propre euh... Dockerfile, enfin le service... les services qu'on a besoin, que il ya moyen de tuner les... les performances, mais eux en fait, ces performances-là, c'est beaucoup plus, elles sont visibles quand c'est des heures d'entraînement et donc, il y a une partie où ils proposent des Docker light pour les inférences, tu peux voir après, euh... Gérard, peut-être... il y en a pour Kaldi, mais en tout cas pour TensorFlow et PyTorch, ils ont fait ça et du coup, ça pourrait être intéressant de... de s'y intéresser. Mais du coup, l'article où ils disaient : "On multiplie fois 3500 fois les... les performances sur un CPU", et en fait, Kaldi de base, il multiplie fois 2700 fois quand tu utilises euh... un GPU que tu installes toi-même. Par exemple, si on crée un Dockerfile et on fait git clone Kaldi et on exécute notre skill sur GPU, on améliore de... enfin, par rapport à un CPU, quand tu utilises la GTX 1080 TI...
[speaker002:] Ah oui ! D'accord, ouais, ouais.
[speaker001:] et Donc du coup, t'as pas, non non
[speaker002:] hum hum... l'arnaque un peu oui oui
[speaker001:] t'as pas 3500 fois meilleures que euh...
[speaker002:] Qu'est-ce qu'on a actuellement ? hum hum
[speaker001:] Non non, c'est tu divises 3500 fois 2000... divisé par 2700, t'as 1 et quelques quoi, mais bon.
[speaker002:] Hum, hum.
[speaker001:] Et donc du coup...
[speaker002:] Ouais, parce qu'ils... dans les 3 500, ils comptaient le le... apporté par le...la les... les architectures GPU quoi, voilà.
[speaker001:] Donc en général, voilà ce que j'ai fait cette semaine et il me reste le rapport d'activité de... de ma thèse à rédiger, là, pour aujourd'hui, et la semaine prochaine, je reprendrai un peu le... mon travail pour l'appliquer euh... sur du français et voir ce que ça donne.
[speaker003:] J'ai... J'ai pas compris, alors l'image Docker, ils sont plus rapides que les autres images ?
[speaker001:] Ouais, parce qu'en fait, ils vont euh... ils vont sur... en fait, c'est eux qui compilent eux-mêmes avec... et ils downground des versions qui marchent mieux, ils... en fait, euh... il y a tout un travail qu'ils ont fait pour euh... pour en fait, pour avoir un meilleur accès à... au physique, quoi, que si on faisait directement avec un Dockerfile.
[speaker003:] Ce n'est pas un peu de la pub ? Je ne comprends pas comment...
[speaker001:] Je... Nous, on l'a installé en tout cas sur Osirim, enfin les serveurs d'IRIT, j'ai partagé à tout l'IRIT. Là, il y en a beaucoup qui commencent à utiliser et du coup, on voit que y a... il y a une performance.
[speaker002:] Ben ce n'est pas forcément étonnant, eux, ils connaissent bien, particulièrement bien euh... leur architecture et donc, c'est les mieux placés pour pouvoir optimiser euh... euh... des... des... des codes par rapport à cette euh... cette architecture. Si vraiment ils se... ils prennent le temps de de de le faire, bon mais à mon avis, c'est un argument un peu... aussi un argument commercial
[speaker001:] voilà
[speaker002:] pour euh... parce que iiiil
[speaker001:] parce qu'il y a ATI qui... qui fait sortir en juin leur euh... leur...
[speaker002:] oui y'a petre, il doit y avoir des concurrents là-bas hum
[speaker003:] Sur Docker, avant, c'était eux aussi qui faisaient les... les images Docker pour Nvidia, et là, c'est encore une image Docker avec un...
[speaker001:] mais ouais, mais ils faisaient... ils faisaient, en fait, Nvidia Cuda,
[speaker003:] oui
[speaker001:] mais ils ne faisaient pas l'install de euh... de PyTorch, de TensorFlow, de...
[speaker003:] C'est pas eux qui ont créé TensorFlow ou PyTorch ?
[speaker001:] Ouais et là, ce qu'ils font, c'est que c'est eux qui compilent euh... ces librairies euh... euh
[speaker005:] Ils modifient ces librairies ou bien juste c'est euh ?
[speaker001:] Ils modifient les...les versions en bas de Cuda de, enfin, ils font des modifications en tout cas, j'ai pas... jai pas accès à ça, je suis utilisateur, donc du coup... mais en tout cas, voilà.
[speaker002:] Mais c'est peut-être un peu le... le truc parce qu'il y a un éc...
[speaker001:] ya y a l'écho, ouais ouais. Mais en tout cas, c'était... c'était intéressant de voir euh... de voir cette partie euh... et ils n'assuraient pas, en fait, ce qui était drôle, c'est que si on prend cette image et qu'on rajoute des install, par exemple de librairie, nous à Samova on voulait installer euh... euh... des librairies euh autres que Kaldi du coup, qui intéressaient l'équipe, et donc du coup, eux, ils disaient : "Nous, on n'assure pas que quand vous allez installer d'autres choses que les performances euh...".
[speaker002:] ah sans sans maintenues.
[speaker001:] ... ih sans maintenues, ouais.
[speaker002:] D'accord. humhum
[speaker001:] voilà Ça le... Mais du coup, je pourrais vous montrer comment... comment faire. En fait, il faut demander des Credentials du site et après, en fait, euh... mettre euh les Credentials dans Docker. Donc euh... enfin, il y a une procédure euh... une petite procédure à faire pour pouvoir télécharger leur... leur image.
[speaker002:] mais, Ça... ça signifie...
[speaker001:] Qu'il faut avoir un compte chez eux, donc j'ai créé un compte et dans Configuration en fait, il faut demander un Key, un API Key et cet API Key, en fait, euh... tu fais Docker login, tu mets leur site web, ils te demandent le login et le mot de passe et tu mets euh... les logins et le mot de passe qu'ils te donnent, et une fois que tu les mets, t'as les Credentials pour télécharger leur... leur service.
[speaker002:] mais une fois que tu t'as [NOISE] téléchargé le service, est-ce que t'es obligé de euhm... de... de te reconnecter,
[speaker001:] euh non Non, non, non
[speaker002:] d'être connecté Est-ce qu'il va checker
[speaker001:] non non
[speaker002:] quelque chose ?
[speaker001:] Non, y'a pas, non.
[speaker003:] il va pomper des data ?
[speaker001:] non
[speaker002:] Non. Non, mais c'est pas ça, mais... oui, bon, il peut y avoir ça, mais bon, sans aller jusque-là, est-ce qu'on n'est pas en train de se rendre dépendant très fortement.
[speaker001:] De Nvidia et de...
[speaker002:] de de euh de Ouais, voilà de leur euh des droits d'accès chez eux, etc.
[speaker003:] J'ai oublié, mais j'ai fait ça déjà une fois pour télécharger des drivers, des trucs comme ça.
[speaker001:] Ouais, mais même pour les drivers...
[speaker003:] juste euh tu te fais un compte et c'est tout demande pas
[speaker001:] Mais même Google, ils font ça aussi pour pour avoir accès à leurs API, ils te donnent des Credentials comme ça, c'est des token en fait euh... pour dé-locker le téléchargement, mais il n'y a pas derrière de...
[speaker002:] Hum, hum.
[speaker001:] Parce que moi, je les ai téléchargés d'un serveur puis je les ai mis dans le cluster, donc du coup... et ça marche, c'est multiplateforme, bon
[speaker002:] Toi, tu l'as téléchargé et d'autres personnes peuvent l'utiliser ensuite.
[speaker001:] voil', après, voilà Après, ce que j'ai remarqué, par exemple la Tesla K40, enfin parce que le serveur que j'ai... ça y est, j'ai Tesla et du coup, ça ne fonctionne pas pour le Tesla, euh... ça fonctionne pour la GTX 1080 TI.
[speaker005:] bizarre.
[speaker001:] Ouais, et quand quand je lance le... le... le... l'image, euh... il y avait, euh... "Cette carte n'est pas supportée par l'optimisation qu'on propose"
[speaker002:] hum hum
[speaker001:] en Warning.
[speaker003:] La Tesla, elle marche pas ?
[speaker001:] elle marche pas. La Tesla K40, Elle euh, elle marche pas.
[speaker003:] Celle qu'on a là, elle marche pas ?
[speaker001:] Non, non, là... [NOISE]
[speaker005:] On n'a pas Tesla, on a juste un 1080. bon je parle la GTX
[speaker003:] Non, la, je suis on a deux.
[speaker005:] Oui. on a euh
[speaker002:] Il y a Titan X.
[speaker001:] C'est Titan X, c'est pas la Tesla K40. ouais et euh
[speaker003:] Ouais, j'ai mélangé les choses.
[speaker001:] Et en fait, nous ici, on utilise directement la machine, donc euh... on n'a vraiment pas besoin de mettre, euh... tu vois, ça pour exécuter euh... sur la machine physique puisqu'on a... enfin, on exécute directement.
[speaker003:] Ça, ça, tu veux dire quoi par ça ?
[speaker001:] Enfin, le serveur. Par exemple, nous on a Kaldi directement installé sur le serveur.
[speaker003:] Ah !
[speaker001:] Et ça, enfin et cette solution, ce conteneur, c'est dédié pour que ça... ça... ça... ça ait une utilité quand c'est dans un cluster de calcul.
[speaker003:] Ah ! Mais genre, ça sert à rien de remplacer Docker, là, tu veux dire ?
[speaker001:] oui Ah ! Sauf si tu utilises Docker ici.
[speaker003:] Moi, j'utilise Docker. ah oui ouais je vais regarder donc du coup, c'est c'est plus intéressant pour toi. hum
[speaker001:] OK. Donc voilà de mon côté.
[speaker002:] OK. À toi !
[speaker005:] OK. [NOISE] Pour moi, cette semaine, j'ai continué à travailler sur euh... le modèle de décodage, donc en particulier la génération du modèle de langage et le problème avec 3 grammes, donc l'autre fois, j'ai essayé euh de voir euh... comment je peux modéliser les entités donc j'ai testé euh quelques méthodes. Ensuite, j'ai essayé de suivre le euh... ce que proposent le... les gens de snips [NOISE] À la fin, j'ai trouvé que euh il y a un problème, donc même avec cette méthode, j'arrive pas à générer le modèle. Donc, euh... j'essaie de voir euh... comment changer ça, qu'est-ce que je dois modifier exactement. Jusqu'à maintenant, j'ai pas une solution. euh
[speaker002:] C'est incroyable, cette affaire. hum hum
[speaker005:] Ouais, bon, malheureusement, mais euh j'espère que je vais trouver une solution à la fin. Donc, je suis en cours toujours de voir d'où vient ce problème et euh... qu'est-ce que je dois faire pour euh... pour arriver à générer le modèle avec le 3 grammes bien sûr, mais avec le de 2 gra le 2 grammes, donc, tout marche bien et sans le problème.
[speaker002:] hum hum, ou Enfin, pas forcément euh... générer le modèle ou comprendre pourquoi on ne peut pas le générer. Enfin, euh c'est là, il s'agit d'avoir une explication pour asseoir un peu le... notre euh... notre traitement quoi,
[speaker005:] ouais euh
[speaker002:] sûr de bien comprendre ce qui se...
[speaker005:] J'ai essayé d'afficher le graphe généré, donc euh d'analyser euh c'est quoi... est-ce que j'ai... il y a des... des arts qui ne sont pas bien euh printés ou bien... bien organisés dans le graphe. Donc, euh j'ai pas trouvé des soucis comme ça. Donc, euh je veux voir avec l'algorithme. Je vais je vais essayer de l'analyser encore plus et euh... c'est ça. Donc, euh pour le moment, donc je travaille encore sur ce point. Sinon en parallèle, j'ai travaillé avec Étienne. On a voulu tester la génération du modèle, bon, bien sûr, avec la version la version stable. Donc euh... avec, on a fait le lien entre le NLU et le... la génération du modèle.
[speaker002:] Hum, hum.
[speaker005:] Donc lui, il prépare les en-têtes, euh le scénario côté NLU, et ensuite, il envoie les requêtes côté euh... STT pour générer le modèle. Donc, on a validé cette étape, donc euh... la pipeline marche bien sans problème, donc euh...
[speaker002:] Donc, est-ce que vous allez pouvoir utiliser ça pour tester avec les... les... les données euh... dont nous parlait Guillaume ?
[speaker005:] Test ?
[speaker002:] Hum... Parce que bon, je pense que toi, ce que tu envisageais, c'était peut-être de... de... de lancer euh sur un...
[speaker001:] Oui, moi je croyais que c'était...
[speaker002:] ... sur endpoint mais peut-être que ça pourrait être pas mal de...
[speaker005:] tester avec NLU ou bien...
[speaker002:] Bah oui, puisque... puisqu'à un moment, on... on veut... on veut mesurer le concept error.
[speaker005:] ah D'accord.
[speaker002:] Dans le concept error rate, c'est bien euh... c'est bien euh... NLU plus plus STT. hum
[speaker005:] Plus STT, ouais, ouais, je vois OK. Pourquoi pas, d'accord. Donc, je vais voir avec Étienne.
[speaker001:] Ouais, on regarde l'après-midi.
[speaker005:] Après, ouais. Donc euh, c'est bon, on l'a validé euh...
[speaker007:] résultats correspondant à pourquoi...
[speaker001:] [NOISE] Tu as dit : " OK, pourquoi pas ? " Bon.
[speaker005:] OK Google.
[speaker001:] Mon assistant là...
[speaker005:] Donc euh, on a validé euh la pipeline, donc il reste juste quelques retouches pour tester toutes les... les cas possibles. Donc, on a fait juste euh... un poste, mais ensuite, peut-être qu'on va faire les délais... on teste les autres euh... les autres possibilités les autres cas, d'utilisation. Donc ça, j'ai aussi... j'ai un autre pont par rapport à la démo de Open Pass, le scénario de... le GAFA et tout ça, machin.
[speaker002:] Oui ?
[speaker005:] Donc, euh j'ai demandé à Étienne de me passer de me passer le... le scénario, bon l'audio, pour tester avec LinSTT vu qu'on a déjà le texte euh de la réunion.
[speaker002:] Hum, hum.
[speaker005:] Donc euh j'ai voulu voir la performance de notre modèle, et euh... euh... Donc ça, donc j'ai testé, donc j'ai trouvé que euh avec le p'tit modèle, bon le modèle moyen, j'ai obtenu 33 % et avec le gros modèle de Sphinx, spin Sphinx, c'est ça, donc j'ai obtenu 27 %. Et en termes de temps de décodage avec le petit modèle, j'ai un facteur de 0 18, mais avec le gros modèle, je pense que c'est un facteur de 0 3, 0 4, 0 3, je pense, je n'ai pas calculé, mais je pense que c'est environ 0 3 0 0 3, 0 4.
[speaker002:] Donc, quand tu dis modèle de Sphinx, c'est modèle...
[speaker005:] Le gros modèle qui fait 2 gi...
[speaker002:] c'est le modèle euh, ouais, le euh le
[speaker005:] Plus riche.
[speaker002:] Oui, euh c'est le modèle linguistique le... le plus large.
[speaker005:] il donne 13 %. oui, oui
[speaker002:] humhum
[speaker005:] Oui, oui, c'est ça.
[speaker002:] 13% sur ESTER
[speaker005:] Qui donne 13 % sur ESTER et maintenant sur ces données, j'ai obtenu 27 %.
[speaker002:] 27 %
[speaker005:] Mais il faut prendre en considération que le contexte peut être n'est pas pris en compte dans... je sais pas... dans ce modèle parce que on parle de GAFA, taxe et...
[speaker001:] Ouais, il faut compter le OO.
[speaker005:] j'sais pas
[speaker002:] T'as pas mal de OOV peut-être.
[speaker005:] Peut-être ouais.
[speaker001:] Ouais, il faut compter le OOV.
[speaker002:] T'as pas regardé ?
[speaker005:] Non, je n'ai pas regardé, mais il y a le GAFA, c'est pas dans la liste, c'est pas dans le modèle. [NOISE]
[speaker001:] C'est la réunion [NOISE], là, qu'ils ont enregistrée sur les GAFA. Ils ont fait une réunion pour valider Open Pass.
[speaker005:] Open Pass ouais.
[speaker003:] Qui étaient dans la réunion, c'est nous là ou abdel ?
[speaker002:] Non, alors euhm
[speaker005:] Samy, Ruddy et euh... Anne.
[speaker002:] Voilà. Et... Et c'est une... c'est un scénario hein, donc il y avait il y avait un dialogue décrit et euh... les.. les participants lisaient ce qui était écrit, donc on est quand même euh... dans un contexte de... de parole lue.
[speaker005:] Ouais.
[speaker002:] De parole lue même... même si euh... euh... ça utilise ça utilise euh... des micros...
[speaker005:] Différents micros, ouais.
[speaker002:] Différents micros, donc il y a peut-être euh... le... le signal n'est peut-être pas très propre euh... et le le scénario était sur le... la thématique euh... de la taxe euh... GAFA.
[speaker005:] Ouais.
[speaker002:] Euh... Par conséquent, il y a peut-être euh ya ptetre... bon, on voit bien GAFA sans doute, c'est pas dans ton vocabulaire
[speaker005:] ouais ouais ouais
[speaker002:] euh... mais il y a peut-être d'autres et il faudrait... ça serait intéressant de regarder euh... quand même.
[speaker001:] Pourcentage des out
[speaker002:] un autre cho... une autre... un autre travail que tu pourrais faire. Euh... Simon, il a... et... il... il a transcrit deux réunions.
[speaker005:] Ah ! Deux réunions, oui, oui, oui, bien sûr.
[speaker002:] Euh... Maintenant, tu pourrais essayer de mesurer euh... et là, à mon avis, euh je peux... Bon, [NOISE] il faut il faut pas avoir peur hein, ça va être mauvais hein, ça va être mauvais, euh... mais [NOISE]
[speaker005:] ouais hhh J'espère que ça ne va pas dépasser les 50 % pour certains.
[speaker002:] Oui ben ça, j'ai... j'en sais rien
[speaker001:] Ça ne dépassera pas les 50.
[speaker005:] J'espère. Bon ça dépend bien sûr du modèle de langage parce que le contexte de nos réunions...
[speaker001:] Mais ça va, c'est un bon microphone.
[speaker005:] Les réunions scientifiques, euh... en particulier, c'est leur... le l'intelligence artificielle.
[speaker001:] Mais c'est surtout, en fait, euh... la maîtrise de word error rate, je pense à elle seule ne... ne suffit pas.
[speaker002:] Oui.
[speaker001:] Puisque quand tu dis 27 %, on a l'impression que ça marche pas et que... avec par exemple là, tout le travail pour descendre à 13 % ou à 12, là, ce qu'on a ou je sais pas, euh... OK, on est à 12, mais on remonte à 27 alors que on peut expliquer par exemple que il y a du travail peut-être pour euh... le OOV et c'est là où on peut faire sortir euh... en fait... nous, peut-être des idées de... de... de... d'ajout par exemple, on propose pour la même réunion GAFAM là qui a été faite, transcrire sans euh... mettre à jour le dictionnaire et le modèle de langage, et après, on se pose la question : "OK et si on rajoutait du texte et des mots...
[speaker005:] Dans le même contexte
[speaker001:] Ouais, que qu'on adapte sur le contexte, quel serait le...
[speaker002:] oui sans doute que l'indicateur WER
[speaker001:] seul ouais
[speaker002:] n'est pas euh... n'est pas forcément suffisant. euh
[speaker001:] [NOISE]
[speaker005:] Donc euh...
[speaker001:] Si tu rajoutes le OOV. ouais
[speaker005:] bon, c'est pas mal pourtant euh 27, bon mais quand j'ai regardé la transcription, j'ai écouté un petit peu, donc euh... c'est pas vraiment euh mauvais comme transcription, donc il re reconnaît le contexte, il reconnaît bien le contexte Union européen et ya euh... bon, GAFA bien sûr, il manquait donc... mais en général, euh... le contexte est bien... trans...bon identifié dans la transcription, peut être bien identi...
[speaker002:] Et est-ce que t'as essayé avec ton modèle acoustique enrichi pour le pour le bruit, là, avec les...
[speaker005:] Oui j'utilise toujours le modèle bruité.
[speaker002:] C'est le modèle bruité.
[speaker005:] Mais c'est intéressant aussi de... de tester avec l'autre modèle pour voir la différence, est-ce que... toujours avec avec le modèle bruité, on gagne euh... en termes de word error rate ou bien, ça dépend est-ce que la réunion est clean, donc avec le modèle Clean, donc ça marchait mieux ou bien... euh... c'est ça donc, il y a pas mal de questions.
[speaker001:] Et c'était du décodage online ou...
[speaker005:] Online, online.
[speaker001:] Online. Donc du coup, tu ne fais pas de découpa aeuh tu fais pas de découpage de phrase.
[speaker005:] Non, non, Oui, oui.
[speaker001:] c'est direct.
[speaker002:] Par ailleurs, par ailleurs, si si jamais tu... et ça serait bien d'essayer de faire tourner les euh.... les... les modèles sur les vraies données de... de... de...de... de réunion.
[speaker005:] humhum
[speaker002:] euh Par exemple là, je viens de parler, j'ai dit : "de... de... de...", 3 fois "de".
[speaker005:] Ouais, ouais
[speaker002:] Eeuh si le moteur de... de... de transcription, lui, il supprime le 3 fois "de", il ne met qu'un seul "de",
[speaker005:] humhum
[speaker002:] est-ce qu'on considère que c'est une erreur ou pas ?
[speaker001:] C'est une erreur, ouais.
[speaker005:] C'est une erreur, ouais.
[speaker002:] ah ba Oui.je euh oui C'est euh... c'est euh... c'est une erreur enfin c'est uen erreur au sens...
[speaker001:] Au sens de transcription findèle, ouais ouais
[speaker002:] euh au sens transcription eum Ça serait intéressant de... ça sera, c'est des éléments à considérer. Il faut il faut quand même qu'on se pose quelques questions euh... sur euh... justement un indicateur qui nous permet de... parce qu, parce que d'un autre côté, toi, quand tu vas voir le résultat... le... enfin, la transcription de la réunion, si t'as pas le "de...de...de...", si tu n'as que "de", quand tu lis, tu dis : "c'est bien."
[speaker005:] Oui oui
[speaker002:] hein euh D'ailleurs, tu es même plutôt content. Bon, alors, est-ce qu'ils vont être supprimés ? Là, pour l'instant, on dit : "On ne va pas essayer de les supprimer", mais peut-être qu'ils veulent les supprimer. Et peut-être qu'ils vont... enfin, ou bien alors, il faudra avoir un... un... un espèce de... de... de facteur, il faut réfléchir à ça, et... de... de définir un facteur qui nous permet de mesurer
[speaker005:] ouais ouais ouais
[speaker002:] euh... cet élément-là.
[speaker005:] OK. Peut-être on pourrait supprimer ces euh
[speaker001:] Oui, c'est du post-traitement.
[speaker002:] Je crois qu'Sa... Thomas, tu voulais dire quelque chose ou...
[speaker004:] [NOISE] Comment ?
[speaker002:] non Non. Je pensais que peut-être, tu voulais dire quelque chose, non, non.parce que jte voyais Je te voyais t'agiter. hhh euh
[speaker005:] bon une [NOISE] J'ai une idée. Peut-être on peut supprimer ces mots, donc "de, la, et", on supprime tous ces mots et on garde juste les mots que... de concept.
[speaker002:] Oui, on peut avoir un...
[speaker005:] Tout le concept et on...
[speaker002:] Il faudrait les deux, hein, il faudrait les deux euh mais peut-être qu'on peut faire ça, oui aujourd'hui peut-être. hum hum
[speaker005:] Pour voir l'impact de la transcription sur la qualité, ou bien est-ce que le contexte est bien exécuté ou pas ?
[speaker001:] Sur les mots clés, ouais.
[speaker005:] Les mots clés, c'est ça, effectivement.
[speaker003:] [NOISE] Le NLU a fait ça déjà non ?
[speaker005:] NLU ?
[speaker002:] Oui, le NLU va corriger si tu es en mode commande.
[speaker005:] [NOISE] Ouais.
[speaker002:] euh hum Le NLU va corriger. Euh... Donc si tu as le "de... de... de..." et puis euh... on s'en fou. Mais ça, c'est pour ça que le concept error rate est important en mode commande, mais en mode...
[speaker005:] Ré résumé.
[speaker002:] En mode résumé, euh... tu... tu... tu vois, on essaie de trouver un indicateur.
[speaker001:] Mais je pense qu'ils les font
[speaker002:] À mon avis, le... cet indicateur, il va falloir qu'on le construise, qui... qui nous indique vraiment la la qualité du résultat.
[speaker005:] Ouais.
[speaker001:] Parce qu'à l'école polytechnique, je... je sais que euh... leur euh...enfin leurs systèmes, quand ils reçoivent le texte, ils font ce genre de prétraitement.
[speaker005:] Il faut voir avec
[speaker001:] Oauis
[speaker005:] Achille.
[speaker001:] Ouais. Ouais, Bon, on pourra en discuter avec Achille, mais... [NOISE]
[speaker002:] Oui, parce que peut-être euh, enfin bon, il faut réfléchir.
[speaker005:] hum ok [NOISE]
[speaker002:] Tu... Tu as... C'est tout ce que tu voulais dire ?
[speaker005:] Sinon, un dernier point, c'est euh... on a j'ai testé avec euh... Guillaume le... le modèle euh... perturbé avec un modèle de langage qui est entraîné sur Ester, tout le corpus Est, Ester train et Ester Ester Eval. Et euh On voulait savoir le word error rate si on on entraîne un modèle avec le... le texte d'évaluation pour voir les performances du modèle acoustique.
[speaker002:] hum hum
[speaker005:] Donc, on a obtenu je pense 9, Guillaume ?
[speaker001:] Ouais, 9 euh 9 2.
[speaker005:] 9 2.
[speaker001:] Et du coup, on part en vacances.
[speaker002:] [NOISE]
[speaker001:] Alain, en fait, Frédéric, il nous a fixé un objectif : si on atteint 10 % de word error rate, ils envoient l'équipe, là, à Las Vegas,
[speaker005:] 2 semaines.
[speaker002:] [NOISE]
[speaker001:] Donc du coup, ouais. Bon
[speaker002:] dis ça oui
[speaker001:] [NOISE] bon
[speaker005:] Donc c'est ça... on voulait savoir la performance du modèle acoustique si on tune nos modèles de langage avec le texte d'évaluation. Donc comme ça, on gagne presque, je pense, 7 8 % par rapport à un modèle de langage qui est générique.
[speaker002:] Et alors, qu'est-ce que vous en concluez, que votre modèle acoustique est... est relativement robuste ?
[speaker001:] Donc euh,
[speaker005:] Pas mal.
[speaker001:] il n'est pas mal, oui.
[speaker005:] Il n'est pas mal.
[speaker002:] hum hum
[speaker005:] et euh Ça veut dire qu'on peut descendre jusqu'à... bon, je peux... je peux pas dire 9 %, mais 10, 11 à avec un ptit
[speaker002:] oui On ne peut pas descendre en dessous de... de... de ça. Hum, hum.
[speaker005:] oui
[speaker002:] hum hum
[speaker005:] avec un petit modèle, on peut [NOISE] descendre jusqu'à 10 11, mais avec un gros modèle, euh... on peut atteindre les 9 % ou les, ouais.
[speaker002:] Et ça, c'est ton modèle acoustique bruité ?
[speaker005:] Ouais.
[speaker002:] OK. [NOISE]
[speaker005:] Donc, c'est tout pour moi.
[speaker002:] OK. euh Thomas ?
[speaker004:] Ouais. Euh alors, pour ma part, j'ai continué à faire les expérimentations sur le... avec les modèles de langage que j'avais générés sur euh... sur Ester Eval. Donc, en fait, j'avais des petits problèmes, ce que je n'ai pas utilisé le bon script d'Gérard pour le décodage au début. C'est pour ça que j'avais des... des euh... un WER qui est un peu élevé, mais là, j'ai utilisé le... le bon script et bon, j'ai réussi à descendre pour un gros modèle. Là, pour l'instant, je suis à 12 95 à peu près sur Ester Eval.
[speaker005:] quand tu disais un gros modèleeuh, il fait combien euh de gigas ?
[speaker004:] Euh Il fait...
[speaker005:] HTLG, je parle. HTLG
[speaker004:] HTLG ?
[speaker005:] Ouais.
[speaker004:] Il fait à peu près 9 gigas.
[speaker003:] 9 gigas ?
[speaker004:] Ouais parce que là, j'ai tout mis, j'ai mis tout le vocabulaire.
[speaker005:] Trois fois, quatre fois par rapport à... hein ?
[speaker002:] Attends, attends !
[speaker001:] Attends, attends !
[speaker005:] Ouais, vas-y, vas-y ! [NOISE]
[speaker002:] Vas-y Thomas !
[speaker004:] Ouais oui, j'ai mis tout le vocabulaire de de de de mes données d'entrainement, c'est-à-dire ça fait plus de deux millions mots, j'ai rien, j'ai rien enlevé, c'est toujours le plus gros modèle possible. Donc, il y a beaucoup de mots qui sont euh... Ouais, il y a beaucoup de mots, il y a beaucoup d'occurrences qui apparaissent qu'une fois ou deux fois, qui sont pas pertinents, et euh... voilà, ça me donne un... un très, très gros modèle. Et euh... Et là, je suis en train d'essayer d'autres choses en fait, c'est que comme on avait discuté avec Guillaume, c'est que en fait, euh... là, sur les... sur le lexique en fait, je modifie seulement le graphe G, mais euh... le L on le laisse non modifié, c'est-à-dire que... en fait, tous les mots qu'on va détecter dans... dans le graphe G, euh... si L ne les connaît pas, il ne va jamais les euh... il va jamais les... les détecter. Je sais pas si tu vois ce que je veux dire, Gérard ?
[speaker005:] Oui, oui.
[speaker004:] Ouais. Et donc là, ce que je me disais, c'est que euh... j'ai essayé de... de... de... de générer un autre graphe L qui prend en compte euh... les... certains OOV de... de... d'Ester puisque... il va dire : "Là, je suis à peu près à 10 % de OOV sur euh... sur Ester là". Donc, ça veut dire que ça... il y a quand même un gap important de... de... sur le terme de... en termes de mots qui ne pourront jamais être reconnus, c'est de l'ordre de... de 10 %, enfin 10 % en occurrence unique, après en...
[speaker008:] Ouais, c'est énorme.
[speaker004:] Comment ?
[speaker001:] Ouais, euh pour son cas, ouais. Vas-y, vas-y, Thomas ! En fait, il s'étonnait que t'avais 10 % en OOV avec ton modèle, mais bon.
[speaker004:] Non, non, avec le modèle de euh de de de Sphinx.
[speaker001:] Ouais. Avec le modèle de Sphinx qu'on a actuellement, quand...
[speaker004:] ...
[speaker001:] Ouais, quand t'as calculé le OOV, t'es à 10 % ?
[speaker004:] Ouais, 9,6, ou 9,8, un truc.
[speaker005:] Comme tu disais 10 % sur Sphinx, mais c'est quoi le lien entre Sphinx et le... le corpus d'évaluation ? Il faut qu'on... il faut calculer le OOV sur le corpus d'éval...
[speaker001:] ouais
[speaker005:] et non pas sur Sphinx....
[speaker001:] Non, non, non. En fait, il dit : "Quand tu prends le le le modèle ARPA, là, qu'on génère et qu'on obtient avec 13 2", c'est ça Thomas
[speaker004:] Ouais, ouais c'est ça ouais
[speaker001:] tu me corrige Et il il extrait les...le les... le... le... le vocab de de de ce modèle ARPA et il va voir euh... il va voir euh combien en pourcentage on a en OOV sur Ester Eval, tu trouves 9,6, c'est ça ?
[speaker004:] Ouais.
[speaker005:] Normalement, tu prends un dictionnaire et tu calcules OOV sur euh... sur le eval. Le dictionnaire et non pas le... le... le vocabulaire du Sphinx.
[speaker001:] Non, mais t'as deux... T'as t'as le... le... le dictionnaire que t'as là, à cent et quelques mille mots.
[speaker005:] Oui, c'est ça.
[speaker001:] Et t'as le vocabulaire de ton ARPA que tu utilises.
[speaker005:] Oui.
[speaker001:] Et donc du coup lui, ce qu'il a fait, c'est que le vocabulaire de ton ARPA, il calcule le word error rate. Donc, il voit dans g.fst, dans le... dans le graphe grammaire point fst, il y a combien de mots qui n'existent pas, euh... qui ne va pas être reconnus dans tous les cas. Et après, il va dans le l point fst, il prend tous les mots et il regarde, il y a combien de mots qui n'apparaissent pas... qui apparaissent dans Eval et qui n'apparaissent pas dans le l point fst. Et là, il aura un OOV du dictionnaire et un OOV euh... du grammaire. Et il va voir pourquoi en fait ces mots, on ne les a pas. Quels sont les mots ? Est-ce que c'est des... est-ce que c'est des mots, de personnes, déjà, ou est-ce que... et il va jouer un peu sur les rajouter quels points on va gagner en... par exemple en word error rate. Donc c'est ça, ce qu'on avait comme idée pour euh... pour voir un peu à quel point on peut... on peut améliorer, et ça rejoint aussi par exemple euh... votre réunion là de taxe GAFA. Si on va rajouter euh... dans le... le... le... le modèle de langage des documents sur tout ce qui est GAFAM, etc., et dans le dictionnaire, euh... des mots spécifiques à ce... à ce cas d'usage, quelle serait l'amélioration possible, tu vois ? Mais bon, c'est des études linguistiques, là, qu'il est en train de mener. Vas-y, Thomas !
[speaker004:] Ouais. Et donc là, je suis en train d'utiliser [NOISE]... j'ai utilisé, enfin, j'ai essayé de géré gérer... générer du coup un nouveau l point fst. Donc ce que j'ai fait, c'est qu'avec phonétisérus j'ai généré tous les... toute la décomposition phonétique des mots dans le dictionnaire. euh Donc voilà, j'ai utilisé euh... les... les phonèmes de... d'a de Montréal, c'est euh je pense que c'est le modèle que vous avez utilisé, toi et... toi et Gérard.
[speaker002:] Le dictionnaire ?
[speaker004:] Et donc, j'ai généré le... le graphe L et euh. Mais là, j'ai un petit problème en fait, c'est que quand je fais le... la composition LG, je ne sais pas si tu as déjà rencontré ce problème, c'est qu'en fait, il m'explique que le graphe n'est pas déterminisable. Il s'arrête et il me dit qu'il y a un problème sur la détermination du graphe, donc je suis parti voir un peu sur les forums de... il y a pas mal de réponses où il explique comment ajouter les... d'ajouter les signes de désambiguïsation, ce genre de chose dans le... dans le... dans le word point txt de...euh et de... voilà, enfin... de Ils disent souvent, c'est un problème sur la désambiguïsation des cara des mots, mais même en corrigeant ces... ces... ces euh... disons ces bugs, j'ai toujours le... il s'arrête pendant la composition du graphe pour me dire que le graphe n'est pas déterminisable sachant que je compose un l point fst qui fait euh qui fait à peu près 801 mots et mon graphe G, il doit faire à peu près 2,2 gigas. Donc, euh... après toi, je ne sais pas Gérard, si tu as... tu m'as dit que tu avais déjà rencontré ce problème de non-éternalisation, tu as... je ne sais pas si t'as déjà eu des des euh... trouvé des des des solutions qui qui permettent de de contrôler la... de contourner ce problème d'optimisation.
[speaker005:] Oui, mais ce n'est pas le même problème. On n'a pas le même problème. Moi, le problème vient de... du modèle G quand j'ajoute les euh... les entités.
[speaker004:] Ouais.
[speaker005:] euh... C'est pas pareil.
[speaker001:] Et toi c'est de euh ouais
[speaker005:] Mais pour toi, c'est pas ouais
[speaker001:] On pourra regarder ça parce que... parce que en fait, quand tu génères avec phonétisseur russe il faut voir que... qu'il ne te génère pas des...
[speaker005:] Est-ce que t'as vérifié si t'as... dans disons ton dictionnaire des mots a sans euh... transcription phonétique ?
[speaker001:] Sans transcription phonétique, ouais.
[speaker004:] Là elles ont tous une transcription.
[speaker005:] Pas de Empty ? euh
[speaker004:] Non, non.
[speaker005:] D'accord, bon.
[speaker001:] Ouais, il faut qu'on regarde ça peut-être ensemble.
[speaker005:] oui, euh
[speaker001:] C'est énorme, ouais.
[speaker005:] C'est énorme, je...
[speaker004:] ...
[speaker001:] mais il faut
[speaker004:] en mettant tout. Après, bah, j'élaguerai en fonction des résultats, mais...
[speaker001:] ouais du euh Du coup, c'était ça, l'idée. Utilise tout ce que t'as pour voir parce que le LIMSI, etc., ils y vont loin. Ils ont en 2003, là, où quand il y avait Ester, ils avaient un Lexicon de 400000 mots alors que les autres, ils avaient des Lexicon de 50000, 60000.
[speaker004:] ... 2 millions, mais...
[speaker001:] Mais du coup...
[speaker005:] ...
[speaker001:] ça va
[speaker004:] Il y en a beaucoup qui qui sont des... voila des noms communs ou des noms euh... des noms inutiles, quoi, des... beaucoup de mots qui ne savent rien, mais je les supprimerai après, quoi.
[speaker001:] Mais prends ouais, prend tout, après tu supprimera.
[speaker004:] Ouais. Et sinon, j'ai fait un peu ce qu'on avait dit. C'est... j'ai un peu analysé les... les logs des euh... les logs des euh... En gros, j'ai comparé la la sortie d'Ester avec la sortie de la prédiction sur mon modèle à 12 95, et ce que je constate en fait, c'est que bah... la plupart des erreurs qui sont faites là, sur le sur la transcription, c'est surtout les erreurs de noms communs. Et donc, c'est par exemple un nom commun qui ne va pas reconnaître ou alors un nom commun par exemple, euh... ça doit être un nom composé, un nom commun, un nom propre pardon, composé avec un tiret, lui, il va reconnaitre le tiret. Enfin, ce sera sur ce genre de... de... de petit détail où il va compter, qu'il y aura une insertion, une suppression. Sinon, il se trompe aussi pas mal sur la conjugaison des mots, c'est-à-dire il va prédire un homonyme plutôt que prédire le vrai mot. Il va prédire le mot avec un " s " alors que dans le dev, il n'y aura pas de "s", enfin. Là, c'est vraiment des erreurs, je pense que pour descendre encore, c'est... c'est très difficile parce que là, les erreurs qui restent, elles sont euh... elles sont quand même assez, euh... c'est-à-dire je pense qu'il faut vraiment pousser le modèle de langage très, très loin pour détecter ces erreurs, quoi. C'est, euh... C'est assez dur.
[speaker005:] J'ai une petite remarque, Thomas.
[speaker004:] Oui ?
[speaker002:] Parle un peu plus fort !
[speaker005:] il faut faire un peu Peut-être oui. En fait, ouais, j'ai une remarque, Thomas.
[speaker004:] Ouais.
[speaker005:] En fait, il faut faire attention quand tu fais la phonétisation automatique, ça risque que tu casses ton système. Quand tu génères une phonétisation fausse, donc ton modèle va forcément reconnaître n'importe quoi parfois, non pas pour tous les mots, mais...
[speaker004:] ... Là, c'est un modèle sans phonétisation de... j'ai pas généré de phonétisation modèle. J'ai pas encore...
[speaker005:] Oui, mais quand tu voulais euh augmenter euh le Lexicon, donc il faut vérifier la phonétisation des mots générés, c'est tout.
[speaker004:] D'accord. mais toi, tu as utiliser euh... parce que j'ai... j'ai... je trouve dans dans ton, dans tes dossiers qu'il y avait un... un modèle, je pense, tu l'as le récupérer sur le git de l'ASR Montréal, c'est ça, de Montréal ?
[speaker005:] euh Quoi exactement, j'ai pas comp.
[speaker001:] Le dictionnaire.
[speaker004:] Le fichier modèle point fst.
[speaker005:] ah C'est moi qui, qui l'a généré.
[speaker004:] Comment ?
[speaker005:] C'est moi qui l'a généré.
[speaker004:] OK. ouais [NOISE]
[speaker005:] Donc, j'ai utilisé le phonétésérus pour euh... générer ce modèle en utilisant le euh Lexicon de base.
[speaker004:] OK. T'as pas chargé le modèle euh... généré de... de eux-mêmes ?
[speaker005:] Euh... Non.
[speaker004:] OK. OK.
[speaker001:] Et... Et après, moi, j'ai une question parce que en termes de... là, les 12 85 euh 95, t'as pas utilisé comme Gérard le RNN LM pour descendre euh...
[speaker004:] Non, non, j'ai juste pris là...
[speaker001:] Pas encore. ok Parce que sans RNN LM, t'étais à combien ?
[speaker005:] il n'a pas utilisé RNN il a utilisé RNN LM, je ne l'ai pas utilisé. Je l'ai testé, mais pour les résultats actuels,
[speaker001:] ah oui
[speaker005:] c'est sans RNN Language Model, parce qu'il faut mettre... faut... il faut savoir que le système Online ne prend pas en compte le RNN LM.
[speaker001:] Ouais.
[speaker005:] Donc sss même si on descend avec ces techniques, on monte inférence on ne peut pas l'appliquer. Donc, c'est pour cela que j'ai pas trop travaillé là-dessus.
[speaker001:] Ouais.
[speaker002:] Ça peut avoir de l'intérêt pour... pour euh... pour le mode euh...
[speaker005:] Offline.
[speaker002:] Offline a posteriori.
[speaker005:] Ouais.
[speaker002:] Si vraiment c'est... ça... ça améliore les... les... les... les performances.
[speaker005:] Ouais.
[speaker001:] ouais Parce que nous, on a trouvé un 13 19 ou un truc comme ça. Et c'était avec du RNN LM ou donc euh... sur euh... sur le... sur le décodage là, enfin sur les dossiers de décodage, mais on pourra regarder ça après.
[speaker005:] Dans mes dossiers et...
[speaker004:] non, je n'ai pas utilisé de RN, RNN, RNN LM pour l'instant ouais
[speaker002:] Et... Et... Et... sinon, quel impact sur les... sur le temps de décodage, t'étais à combien ?
[speaker004:] Qui ça, moi ?
[speaker002:] Ouais.
[speaker004:] Euh, j'ai pas calculé le... pour l'instant, j'ai pas calculé le temps de décodage, mais euh... je pense que je suis autour de 30 35 minutes 40 30, entre 30 et 40 minutes.
[speaker002:] Pour euh... ouais, mais ça... ça... ça......
[speaker001:] C'est pratiquement la même chose. euh
[speaker002:] Ça impacte pas le le temps de décodage ?
[speaker001:] Parce que nous quand
[speaker005:] Avec les 9 euh... 9 gigas, le modèle à 9 gigas ?
[speaker004:] Euh, bah il ne me semblait pas que ça... enfin, j'ai pas, c'était pas 2 heures quoi, c'était... j'ai pas compté exactement, mais ça n'a pas duré 2 heures, quoi. C'était euh...
[speaker005:] J'ai pas compris.
[speaker001:] Il a entendu 2 heures. OK, on pourra calculer parce que si t'as du...
[speaker004:] mais après
[speaker005:] ...
[speaker001:] Ouais. Pour une prochaine fois, on essayera de de...
[speaker004:] Oui, oui, je vais je vais logger ça.
[speaker002:] Ouais. hum hum, Oui, parce que c'est quand même c'est c'est un paramètre intéressant
[speaker001:] ouais.
[speaker005:] il n'vaait pas.
[speaker002:] ok ?
[speaker004:] Sinon ouais, bah, moi, je vais continuer à regarder un petit peu le modèle en... en russe.
[speaker002:] Oui.
[speaker004:] Et euh... bin J'ai j'ai récupéré parce que l'autre fois, on avait [NOISE]... mais j'ai pas bien répondu. Donc eux, le train ils le font sur euh... en fait, dans le... dans le... dans le guide, ils expliquent qu'ils ont 24 heures de... de données euh... annoté alors que... alors que c'est faux. j'ai fait, enfin j'ai fait la somme des fichiers Wave et ils n'ont que 14 heures en fait, donc ils ont 14 heures de train et une heure de... une heure de test. Ils ont un vocabulaire qui est fait... enfin, le vocabulaire du train fait à peu près 840 mots, sachant qu'ils utilisent un Lexicon qui fait euh... c'est un Lexicon large vocabulaire et ils ont un train d'environ 840 mots, ils ont un taux de... un taux d'erreur de 0. euh, 0,03 % et donc, ils obtiennent à peu près, euh... si je me rappelle bien, c'est à peu près euh... 12 %, 13 %, quoi.
[speaker002:] 13 % des WER
[speaker004:] de Word Erreur rate ouais
[speaker002:] sur euh... mais sur... évalué sur quoi ?
[speaker004:] Sur le... Sur le... Sur leur... Une heure de test sachant que ce sont des phrases, en fait les phrases du texte, c'est des phrases qui se [NOISE] regroupent le train en fait.
[speaker002:] Ah oui, OK. humhum
[speaker004:] C'est pas les mêmes locuteurs, mais c'est les mêmes phrases.
[speaker002:] D'accord. Donc ils... ils... ils évaluent leur modèle acoustique, un petit peu comme vous avez fait là euh...
[speaker001:] Ouais.
[speaker002:] Pour euh... ce que tu disais tout à l'heure.
[speaker001:] Mais c'est tout... C'est tout le l'ensemble des phrases du test qui sont dans le train ?
[speaker004:] Euh... Oui, il me semble que... j'ai pas regardé, mais il me semble que c'est quasiment tous euh... toutes les phrases, sachant que dans le train en fait, c'est des... il y a environ une centaine de locuteurs et les locuteurs répètent les mêmes phrases euh... les mêmes phrases...
[speaker002:] Hum, hum. Ouais.
[speaker004:] Mais ils ne font pas... ce qui est intéressant, c'est qu'ils entraînent pas le... ils entraînent pas le... le modèle de langage sur le train ils entraînent le modèle de langage euh... via un modèle large vocabulaire euh sur des corpus en russe euh... récupérés euh... enfin, je pense peut être l'équivalent du... du voilà, comme nous, Le Monde ou ce genre de chose, quoi. Et quand je biaise le modèle de langage sur le train je descends encore plus bas à 6 %, 6 7 %.
[speaker001:] Ça passe, OK.
[speaker002:] hum hum Bon, ça peut te servir de... de base euh... par rapport à... par rapport à ce que veulent faire les... la boîte russe là, et euh... la... la date est toujours pas arrêtée ?
[speaker004:] Non, j'ai pas de... Éric n'est pas venu me voir encore, je sais pas, j'ai rien, j'ai aucune information.
[speaker002:] OK.
[speaker001:] Mais en tout cas, c'est suffisant pour un modèle commande je pense, ces performances pour
[speaker002:] Oui, euh..... on verra avec les... les données euh... qu'ils ont eux parce qu'ils ont des données, donc... Hum... Mais ça permet aussi quand même de.. à... à Thomas de... de commencer à se familiariser un petit peu avec euh... avec ces données-là, quoi. hum
[speaker004:] C'est ça.
[speaker002:] OK.
[speaker004:] Il y aura peut-être une étape où je citerais derrière comme on avait dit pour euh... pour faire du test de de de.
[speaker002:] Ouais. Hum, hum. C'est, c'est tout ?
[speaker004:] Euh Pour moi, oui, c'est tout.
[speaker002:] OK.
[speaker004:] Après, j'ai travaillé un peu avec bin avec Alain, voilà, c'est......
[speaker002:] hum Bon, on va les laisser... Numaa, on va te laisser présenter juste... évidemment, euh... tu commences, hein. Mais euh... présenter un petit peu ce que t'as... t'as... t'as compris de du du sujet pour le présenter euh... le présenter euh à tes collègues.
[speaker006:] Ben ben du coup, cette semaine avec Thomas, il m'a présenté bah tout l'ASR que je n'avais pas vraiment fait euh avant, donc tout le modèle acoustique, tout le modèle de langage. Donc j'ai compris comment ça marchait, donc je me suis intéressé euh... euh... à la manière de décoder les... les... bah les sons pour ana enfin obtenir des phonèmes et comment on utilisait les lexiques pour recréer des mots, ainsi de suite, voilà. Euh... Je me suis pas mal intéressé à tout ce qui est n-gram aussi également. J'ai commencé à faire quelques commandes sur SRILM que... que Thomas m'a dit de... d'installer pour pouvoir... bah commencer à savoir comment ça fonctionnait, euh... voilà. Euh... J'ai surtout pris connaissance de tout le sujet, quoi...
[speaker002:] Hum, hum.
[speaker006:] Et euh, on a comme enfin, je viens de finir l'installation de Kaldi aussi parce que Thomas m'a dit que ça pourrait être intéressant de commencer à tester, enfin, à utiliser le logiciel, quoi. On utilisait Kaldi et donc voilà, en gros cette semaine, euh... j'ai juste bien pris connaissance du sujet, donc il faut que je continue euh... et euh... je commence à pas mal mettre dans l'ordre tout ce qui se passe et euh.. comprendre les... la... le modèle de langage aussi et donc voilà, en gros, c'est.
[speaker002:] OK. Ouais bah, ça met un certain temps pour... parce que c'est... c'est... c'est une chaîne de... de... de traitement quand même assez assez complexe hein, donc... Euh... Oui et c'est bien d'abord de comprendre un peu le... le tableau global avant de se focaliser sur un... un des des composants du... de... de la chaîne.
[speaker001:] Mais du coup, c'est un stage découverte ou euh... il va travailler sur un sujet bien défini ou...
[speaker002:] Non, le... le... le... le stage, c'est pour aider euh... Thomas sur les modèles de...
[speaker001:] D'accord, OK.
[speaker002:] de langage. Hum... Le stage dure 2 mois.
[speaker006:] Jusqu'au 2 août, plus que 2 mois, jusqu'au 2 août, 3 mois quasi, un peu plus de 3 mois.
[speaker002:] oui oui, je sais pas pourquoi j'avais 2 mois... 2 mois.
[speaker001:] Peut-être c'est 2 août, tu vois, 2 mois.
[speaker002:] Si tu veux hum, ouais. OK. Bah, c'est... C'est mieux hein, c'est mieux. humhum
[speaker001:] Ouais, de faire plus de choses, quoi.
[speaker002:] Ouais ouais, et puis ça permet de... d'attaquer plus de chantiers.
[speaker001:] OK.
[speaker002:] Tu... Tu voulais d'autres infos ?
[speaker001:] Moi, c'est pour mon stagiaire peut-être, je voulais... parce qu'il y a... il y a un stagiaire aussi qui va vous rejoindre.
[speaker002:] Il y a un autre stagiaire qui va arriver, mais euh... je pense, début mai.
[speaker001:] C'est début mai.
[speaker002:] C'est début mai, ouais, voilà, comme ça, vous serez trois, [NOISE] l'équipe grossit, l'équipe grossit.
[speaker001:] Ouais.
[speaker004:] oui tout à fait oui
[speaker002:] Plus Achille quand il est là.
[speaker003:] Il y a plus de places ?
[speaker002:] euh euh Ah oui, à Paris
[speaker003:] il y a plus de places
[speaker002:] il y a plus de places qu'ici, ouais, ouais... c'est... c'est clair, sauf les salles de réunion qui sont euh... qui sont assez difficiles à trouver, mais enfin... Euh... OK. Ben je vous propose qu'on s'arrête là, on a euh... euh... Alors, quand est-ce qu'on va avoir une prochaine euh... une prochaine réunion ? sachant