cog

Cog es una herramienta de código abierto que empaqueta modelos de aprendizaje automático en contenedores Docker estándar y listos para producción. Su objetivo es resolver la dificultad habitual de llevar modelos de ML a producción, eliminando la necesidad de escribir Dockerfiles a mano y gestionar la compatibilidad de dependencias. Capacidades clave descritas en el README: - Generación de imágenes Docker a partir de un archivo de configuración cog.yaml sencillo, aplicando buenas prácticas como imágenes base de Nvidia, almacenamiento en caché eficiente de dependencias, instalación de versiones específicas de Python y valores predeterminados razonables para variables de entorno. - Gestión automática de la compatibilidad entre CUDA, cuDNN, PyTorch, TensorFlow y versiones de Python, evitando la administración manual de matrices de versiones. - Definición de entradas y salidas del modelo mediante tipos estándar de Python a través de la interfaz BaseRunner (métodos setup y run), con Cog generando un esquema OpenAPI y validando entradas y salidas. - Servidor HTTP de inferencia automático: los tipos del modelo generan dinámicamente una API HTTP RESTful servida por un servidor Rust/Axum de alto rendimiento. - Comandos CLI: cog run (ejecutar un modelo con entradas), cog build (construir una imagen Docker desplegable) y cog serve (combinar construcción y servicio en un puerto local). - Flexibilidad de despliegue: las imágenes Docker construidas pueden ejecutarse en cualquier entorno donde se ejecuten imágenes Docker, incluida infraestructura autoalojada o Replicate. - Soporte de plataformas: macOS, Linux y Windows 11 mediante WSL 2. Requiere Docker (y Buildx cuando se usa Docker Engine en lugar de Docker Desktop). - Instalación mediante Homebrew, un script de instalación, descarga manual del binario o dentro de una imagen Docker. La herramienta se presenta como una forma de que investigadores lleven modelos a producción sin conocimientos profundos de Docker o ingeniería de infraestructura, y está creada por el equipo detrás de Replicate.