اوپن سورس۔ نئے امکانات۔

Lexos ایک ایونٹ سے چلنے والا AI دستاویز پروسیسنگ انجن ہے جو Go گیٹ وے، Python ورکرز، Redis قطاروں اور خود میزبان ماڈلز کو آف لائن RAG، خلاصہ اور تقریر کی نقل کے لیے جوڑتا ہے۔

vLLM ایک ہائی تھروپٹ اور میموری کے لحاظ سے موثر لائبریری ہے جسے Large Language Model (LLM) کے انفرنس اور سرونگ کے لیے ڈیزائن کیا گیا ہے۔