Nous avons fait tourner le crawler ce week-end, en l'interrompant assez souvent pour vérifier l'intégrité des différentes bases. Aucun problème majeur à signaler. Nous n'avons pas vraiment collecté à la vitesse maximale, car il nous a fallu quelques fois renvoyer la totalité des bases de données vers le serveur, et 300 Mo avec une liaison montante à 1 Mbits/seconde, ça prend un peu de temps (je vous laisse le soin de calculer). Vivement la fibre ! De plus, certains fichiers téléchargés faisaient planter Harmony Assistant. Nous avons corrigé la majorité de ces problèmes. Entre autres effets de bord, Kooplet nous aura donc permis d'améliorer notre connaissance du langage Perl, et de corriger quelques sources possibles de plantage dans Harmony et PDFtoMusic. |