Código abierto. Nuevas posibilidades.

vLLM es una biblioteca de alto rendimiento y eficiencia de memoria diseñada para la inferencia y el servicio de modelos de lenguaje extensos (LLM).

Oumi es una plataforma de código abierto para el ciclo de vida completo de modelos fundacionales: preparación de datos, entrenamiento y ajuste fino (SFT, LoRA, QLoRA, GRPO), evaluación, síntesis de datos con jueces LLM y despliegue mediante vLLM/SGLang, con CLI y lanzamiento de trabajos en la nube.

Ollama es una herramienta que permite a los usuarios ejecutar, gestionar y construir con modelos de lenguaje extensos de código abierto localmente en macOS, Windows y Linux.

SGLang es un marco de servicio de alto rendimiento para modelos de lenguaje extensos (LLM) y modelos multimodales, diseñado para una inferencia de baja latencia y alto rendimiento.

LEANN es una base de datos vectorial ligera diseñada para aplicaciones RAG personales, que reduce los requisitos de almacenamiento hasta un 97% mediante recomputación selectiva basada en grafos.