inferencexorbitsai
NUEVOXinference es una biblioteca unificada de inferencia para servir modelos de lenguaje, voz y multimodales. Proporciona API RESTful compatible con OpenAI, utilización heterogénea de GPU/CPU, despliegue distribuido e integraciones con LangChain, LlamaIndex, Dify y Chatbox.