modelscope

ModelScope 是一个围绕“模型即服务”（MaaS）理念构建的开源库。它旨在汇集 AI 社区的机器学习模型，并简化它们在实际应用中的使用。此仓库中的核心库提供了模型推理、训练和评估的接口与实现。 README 中描述的关键能力： - 统一的分层 API，用于探索和使用跨 CV、NLP、语音、多模态和科学计算领域的模型。 - 用于推理的 `pipeline` 接口：对于给定任务和输入类型（图像、文本、音频、视频），几行代码即可加载底层模型并返回结果。示例包括中文分词和人像抠图（背景移除）。 - 用于微调和评估的 `Trainer` 接口，包含 `trainer.train()` 和 `trainer.evaluate()`。README 展示了在中文诗歌数据集上微调 GPT-3 基础模型（1.3B）。 - `MsDataset` 用于加载数据集，支持列重映射和训练/测试划分。 - 与 ModelScope 后端服务集成，特别是 Model-Hub 和 Dataset-Hub，用于实体查找、版本控制和缓存管理。 - 支持分布式训练策略，包括数据并行、模型并行和混合并行，面向大模型。 - 模块化设计，因此推理和训练工作流的组件可以自定义。 模型和在线访问：README 指出，modelscope.cn 上公开提供了数百个模型（700+ 且仍在增加），涵盖 NLP、CV、音频、多模态和 AI for Science。列出的代表性示例包括 LLM，如 Yi-1.5-34B-Chat、Qwen1.5-110B-Chat、DeepSeek-V2-Chat、Ziya2-13B-Chat、Meta-Llama-3-8B-Instruct 和 Phi-3-mini-128k-instruct；多模态模型，如 Qwen-VL-Chat、Yi-VL-6B、InternVL-Chat-V1-5、deepseek-vl-7b-chat、OpenSoraPlan、OpenSora 和 I2VGen-XL；CV 模型，如 DamoFD 人脸检测、BSHM 人像抠图、DCT-Net 人像卡通化、DuGuang OCR 和 LaMa 图像修复；音频模型，如 Paraformer ASR、FSMN VAD、Monotonic-Aligner 时间戳预测、CT-Transformer 标点、Sambert-Hifigan TTS 和 CAM++ 说话人验证；以及 AI-for-Science 模型 uni-fold-monomer 和 uni-fold-multimer。还提到了在线体验和具有 CPU/GPU 环境的云端 ModelScope Notebook。 安装：该库支持 PyTorch、TensorFlow 和 ONNX，已在 Python 3.7+、PyTorch 1.8+、TensorFlow 1.15 或 2.0+ 上测试。提供了官方 CPU 和 GPU Docker 镜像。本地设置可以使用 pip 和 conda；可选附加项包括 `modelscope[multi-modal]`、`modelscope[nlp]`、`modelscope[cv]`、`modelscope[audio]` 和 `modelscope[science]`。注意事项提到，某些音频任务模型仅支持 Linux 上的 Python 3.7 与 TensorFlow 1.15.4，SoundFile 在 Linux 上可能需要 libsndfile，并且某些 CV 模型需要 mmcv-full。 许可证：Apache License 2.0。README 还提供了引用条目，以及指向安装、任务、推理管道、微调、数据预处理、评估和贡献模型的进一步文档的链接。