inferencexorbitsai
NOVOXinference é uma biblioteca unificada de inferência para servir modelos de linguagem, fala e multimodais. Oferece API RESTful compatível com OpenAI, uso heterogêneo de GPU/CPU, implantação distribuída e integrações com LangChain, LlamaIndex, Dify e Chatbox.