{"partition": "head_middle", "source_domain": "www.myriad-online.com", "digest": "sha1:6UKEOG32TC4ANYCL6GFXYFE2E5QKXGSJ", "path": "/lustre/fsn1/projects/rech/qgz/uzq54wg/processed_redpajama/base_processing/output/fr/2014-15/000_00009.parquet"}
Wednesday, Oct 20th, 2010 at 04:51pm
Kooplet, �tape 65 Nous avons termin� de v�rifier le syst�me de parcours des pages Web (crawler), rep�rage et analyse des fichiers musicaux, et conversion de ces derniers en donn�es utilisables par le moteur de recherche. Nous avons reconstitu� la liste d'une cinquantaine de sites Web qui avait servi � nos premiers essais, et lanc� une indexation de ces sites. Pour l'instant, 4 instances du client d'indexation sont en cours sur un PC sous Windows, une autre est en test sur une machine Linux, et une ou plusieurs autres seront d�marr�es ce soir sur un PC personnel. Les 3 machines fonctionneront toute la nuit, et nous verrons demain matin ce que �a a donn�. Par contre, il s'agit seulement de la collecte des donn�es. Ces derni�res sont simplement stock�es dans une base de donn�es temporaire, limit�e arbitrairement � 10000 �l�ments (fichiers). Pour les transformer en quelque chose d'utilisable par le syst�me de recherche, il faut extraire de ces donn�es les informations musicales, ainsi que les divers textes. Ceci ne peut se faire pour l'instant qu'� l'aide de nos versions de d�veloppement d'Harmony Assistant et PDFtoMusic. Pour �viter que tout s'arr�te lorsque 10000 fichiers sont en attente d'analyse, il faut donc th�oriquement que suffisamment d'instances de ces versions d'Harmony et PDFtoMusic tournent pour analyser les donn�es plus rapidement qu'elles sont collect�es. Il va nous falloir �valuer � l'usage combien de machines devront �tre mobilis�es, et pour combien d'heures par jour. by Olivier Guillion Tweet