cog

Cog 是一个开源工具，可将机器学习模型打包为标准、生产就绪的 Docker 容器。它针对将 ML 模型部署到生产环境中的常见难题，免除了手动编写 Dockerfile 和管理依赖兼容性的需要。 README 中描述的主要能力包括： - 通过简单的 cog.yaml 配置文件生成 Docker 镜像，并应用最佳实践，例如使用 Nvidia 基础镜像、高效依赖缓存、指定 Python 版本安装，以及合理的环境变量默认值。 - 自动处理 CUDA、cuDNN、PyTorch、TensorFlow 和 Python 版本兼容性，避免手动管理版本矩阵。 - 通过 BaseRunner 接口（setup 和 run 方法）使用标准 Python 类型定义模型输入和输出，Cog 会生成 OpenAPI 模式并验证输入输出。 - 自动生成 HTTP 推理服务器：模型类型会动态生成由高性能 Rust/Axum 服务器提供的 RESTful HTTP API。 - CLI 命令：cog run（带输入运行模型）、cog build（构建可部署的 Docker 镜像）、cog serve（在本地端口上组合构建与服务）。 - 部署灵活：构建出的 Docker 镜像可在任何支持 Docker 镜像的地方运行，包括自托管基础设施或 Replicate。 - 平台支持：macOS、Linux，以及通过 WSL 2 支持的 Windows 11。需要 Docker（如果使用 Docker Engine 而非 Docker Desktop，则需要 Buildx）。 - 可通过 Homebrew、安装脚本、手动下载二进制文件，或在 Docker 镜像中安装。 该工具定位为一种让研究人员无需深入的 Docker 或基础设施工程知识即可将模型投入生产的方式，由 Replicate 背后的团队创建。