Code ouvert. Horizons nouveaux.

newspaper3k est une bibliothèque Python 3 conçue pour extraire et compiler des articles du web, offrant des outils d'extraction de texte complet et de métadonnées.

易采集EasySpider est un outil entièrement gratuit de scraping web et d'automatisation de navigateur visualisé sans code, permettant de concevoir des tâches de collecte en sélectionnant des éléments de page via une interface graphique, avec prise en charge de l'exécution en ligne de commande, de la logique de diagramme de flux, des tâches planifiées et du développement secondaire.

Douyin_TikTok_Download_API (DTK) est une API open-source et auto-hébergeable pour Douyin et TikTok, permettant de récupérer posts, profils, commentaires et playlists, tout en téléchargeant vidéos et images sans filigrane.

Lux est un outil CLI de téléchargement vidéo écrit en Go, rapide et simple. Il supporte les vidéos, playlists, images et audio depuis YouTube, Bilibili, Instagram et d'autres plateformes.

Huginn est un système auto-hébergé permettant de créer des agents qui automatisent des tâches en ligne en surveillant des événements et en agissant en votre nom.

Firecrawl est une API open source de données web permettant de rechercher, scraper, crawler et interagir avec des sites, en convertissant les pages en Markdown, JSON ou captures d'écran propres, prêtes pour les LLM et les agents IA.

Crawlee est une bibliothèque Python de scraping web et d'automatisation de navigateur pour créer des crawlers fiables. Elle prend en charge le crawling HTTP et par navigateur sans tête, les nouvelles tentatives automatiques, la rotation de proxys et le stockage de données pour les applications IA/LLM.

Un téléchargeur de vidéos Bilibili basé sur requests, prenant en charge le téléchargement par parties, les sous-titres, les barrages et les couvertures, avec une interface graphique et une fonction de transcription AI.