easyspider

易采集（EasySpider） est un logiciel entièrement gratuit de test d'automatisation de navigateur visualisé, de collecte de données et de scraping web, utilisant une interface graphique, permettant de concevoir et d'exécuter des tâches sans écrire de code. L'utilisateur n'a qu'à sélectionner sur la page web le contenu qu'il souhaite manipuler, puis suivre les invites étape par étape pour terminer la conception de la tâche. Le logiciel peut également être exécuté indépendamment en ligne de commande, ce qui facilite son intégration dans d'autres systèmes. - Sélection visualisée d'éléments : après avoir cliqué droit sur un élément de la page, le logiciel détecte automatiquement les éléments du même type et prend en charge les opérations « sélectionner tout », « sélectionner les éléments enfants », « collecter des données », etc., en enregistrant les informations par champ séparément. - Boucle et collecte de pages de détail : après avoir sélectionné tous les éléments, on peut choisir « cliquer en boucle sur chaque élément » pour ouvrir automatiquement la page de détail de chaque élément, puis continuer à configurer la collecte du contenu de la page de détail. - Conception de tâches sous forme de diagramme de flux : une interface de diagramme de flux est fournie, prenant en charge les boucles, les branchements conditionnels, le clic en boucle sur la page suivante, etc., et peut être convertie en diagramme de flux standard pour visualisation. - Opérations étendues : prise en charge de la saisie de texte, de la collecte du texte des éléments, de la capture d'écran des éléments et de la page, de la reconnaissance OCR du contenu des éléments (souvent utilisée pour les captchas texte), de l'exécution de code JS personnalisé et de code système, de l'utilisation de la valeur extraite comme entrée de variable, du résultat d'un calcul en code Python comme entrée, de l'écriture dans une base de données MySQL, etc. - Exécution et intégration : prise en charge de l'exécution planifiée des tâches, du lancement parallèle de plusieurs tâches simultanément, du basculement entre pools d'IP et IP de tunnel, ainsi que de l'exécution via ligne de commande pour faciliter l'intégration dans d'autres systèmes. - Exemples et documentation : le dépôt fournit un dossier d'exemples de tâches Examples, pouvant être renommé puis importé dans le répertoire tasks pour utilisation ; la documentation se trouve sur le GitHub Wiki, ainsi que des tutoriels vidéo sur B站 et YouTube. - Licence et conformité : le logiciel est soumis à la licence AGPL-3.0 ; les particuliers et les entreprises peuvent l'utiliser gratuitement, ainsi que réaliser un développement secondaire basé sur le code source, sans avoir besoin de contacter l'auteur pour une licence commerciale, mais ils doivent respecter les dispositions de la licence concernant la viralité, l'obligation de mise à disposition ouverte pour l'utilisation en réseau, la fourniture du code source, la concession de brevets et la clause de non-responsabilité. L'auteur déclare que le logiciel est destiné uniquement à l'apprentissage et à l'échange, interdit toute utilisation illégale ou non conforme, et les conséquences de son utilisation incombent à l'utilisateur. - Contexte du projet : ce logiciel a été inclus dans les actes de The Web Conference (WWW) 2023 ; les réalisations associées comprennent le brevet d'invention délivré par le China National Intellectual Property Administration intitulé « système d'intitulé « système d'encapsulation de service pour un processus d'extraction personnalisé » ainsi que la thèse de master de l'Université du Zhejiang intitulée « conception et mise en œuvre d'un système d'encapsulation de service intelligent destiné aux applications web ».