Código abierto. Nuevas posibilidades.

DeepSpeed es una biblioteca de optimización de aprendizaje profundo diseñada para que el entrenamiento y la inferencia de modelos a gran escala sean fáciles, eficientes y efectivos.

RunAnywhere es una suite de SDKs multiplataforma para ejecutar modelos de IA de forma local en teléfonos, navegadores, escritorios y servidores. Soporta LLM, visión, voz, agentes de voz, RAG, embeddings e imagen generada con una sola API semántica.

SGLang es un marco de servicio de alto rendimiento para modelos de lenguaje extensos (LLM) y modelos multimodales, diseñado para una inferencia de baja latencia y alto rendimiento.

jetson-inference es una biblioteca de visión profunda en C++ y Python para NVIDIA Jetson. Usa TensorRT para inferencia en el dispositivo y PyTorch para entrenamiento, con ejemplos, modelos preentrenados y tutoriales de clasificación, detección, segmentación, pose, acción, profundidad y transmisión de cámara.

MediaPipe es el framework multiplataforma de Google y un conjunto de soluciones de aprendizaje automático en el dispositivo para medios en vivo y en streaming, que cubre tareas de visión, texto y audio en Android, iOS, web, escritorio y dispositivos periféricos.

YOLOv5 es un marco de visión por computadora rápido y preciso en PyTorch para detección de objetos, segmentación de instancias e clasificación de imágenes. Soporta entrenamiento en conjuntos de datos personalizados, inferencia desde diversas fuentes y exportación de modelos a formatos como ONNX, TensorRT y CoreML.

Colossal-AI es un sistema de código abierto para entrenar y ejecutar grandes modelos de IA de manera más económica y eficiente, ofreciendo estrategias de entrenamiento paralelo, gestión de memoria y aceleración de inferencia para LLMs, modelos de difusión y más.

vLLM es una biblioteca de alto rendimiento y eficiencia de memoria diseñada para la inferencia y el servicio de modelos de lenguaje extensos (LLM).

Mithril es un motor de orquestación multimodelo que unifica Gemini, OpenAI, Anthropic, Groq y modelos GGUF locales detrás de una única API compatible con Ollama. Configura equipos multiagente en YAML, con 24 herramientas integradas, soporte Docker e integración MCP.

Una implementación de C/C++ de alto rendimiento para la inferencia del modelo de reconocimiento automático de voz (ASR) Whisper de OpenAI, diseñada para un despliegue ligero y multiplataforma.

Oumi es una plataforma de código abierto para el ciclo de vida completo de modelos fundacionales: preparación de datos, entrenamiento y ajuste fino (SFT, LoRA, QLoRA, GRPO), evaluación, síntesis de datos con jueces LLM y despliegue mediante vLLM/SGLang, con CLI y lanzamiento de trabajos en la nube.

Xinference es una biblioteca unificada de inferencia para servir modelos de lenguaje, voz y multimodales. Proporciona API RESTful compatible con OpenAI, utilización heterogénea de GPU/CPU, despliegue distribuido e integraciones con LangChain, LlamaIndex, Dify y Chatbox.

Una reimplementación rápida del modelo Whisper de OpenAI utilizando CTranslate2, que ofrece una mayor velocidad de transcripción y un menor uso de memoria.