newspaper

newspaper3k 是一个 Python 3 库，用于抓取和整理新闻文章。它允许用户从新闻 URL 提取完整文本内容、元数据和图片，或通过构建爬虫来爬取整个新闻源。 主要功能包括： - 文章提取：自动识别并从给定 URL 中提取正文、作者、发布日期和主要图片。 - 源站爬取：build() 函数可用于从新闻首页发现所有文章 URL 和分类 URL。 - 自然语言处理（NLP）：提供内置功能，可从提取的文本中生成关键词和摘要。 - 多语言支持：支持超过 30 种语言，包括英语、中文、德语、阿拉伯语等，具备自动语言检测能力。 - 多线程下载：包含 news_pool 框架，支持并行下载多篇文章。 - HTML 解析：提供 fulltext 工具，可直接从 HTML 字符串中提取正文。