{"partition": "head_middle", "source_domain": "www.myriad-online.com", "digest": "sha1:5P7WSPLHQUV5PCN5IXBH74WHMPF6SLMR", "path": "/lustre/fsn1/projects/rech/qgz/uzq54wg/processed_redpajama/base_processing/output/fr/2014-15/000_00023.parquet"}
Tuesday, Oct 12th, 2010 at 04:46pm
Kooplet, �tape 62 Le module serveur et le module client du "crawler" de kooplet sont �crits, et fonctionnels. Le module client est tr�s l�ger, et consomme une puissance de calcul n�gligeable (jamais plus de 1% de la puissance CPU). Il devrait pouvoir tourner en t�che de fond sans effet notable. Avant de lancer l'exploration des sites musicaux, il faut d'abord v�rifier ces modules en profondeur, afin de s'assurer qu'ils respectent bien les param�tres impos�s par les sites visit�s (fichier robots.txt), et que cette exploration se passe bien. Il faut par exemple �viter les boucles de liens (la page A a un lien sur la page B, qui a un lien sur la page A), et s'assurer que le module client r�agit bien lorsque le site qu'il explore n'est pas correctement accessible. La version Windows du Perl ne permet pas de d�finir un timeout sur les acc�s Internet, donc un site qui ne r�pond pas fait boucler le programme ind�finiment. Dans la version Linux, par contre, cela fonctionne... presque. Il arrive en effet que certains acc�s tr�s lents finissent par bloquer le programme �galement. Nous n'avons pas pu d�terminer exactement dans quel cas, mais c'est assez g�nant, car cela nous obligerait � relancer le module client tous les deux ou trois jours en moyenne. Nous pr�voyons donc de d�velopper un module d'acc�s ind�pendant du corps principal du module, ce qui permettrait d'arr�ter son ex�cution s'il ne r�pond pas au bout d'un certain temps. Ainsi, le module pourrait fonctionner sans n�cessit� d'intervention humaine sur n'importe laquelle des deux plateformes. by Olivier Guillion Tweet