منصوبے کے بارے میں

Lexos ایک ایونٹ سے چلنے والا AI دستاویز پروسیسنگ انجن ہے جو خود میزبان لینگویج ماڈلز کے گرد بنایا گیا ہے۔ یہ ایک اعلیٰ ہم آہنگی والے Go گیٹ وے کو غیر مطابقت پذیر Python ورکرز کے ساتھ جوڑتا ہے تاکہ دستاویز کا خلاصہ، بازیافت-اضافہ شدہ جنریشن اور تقریر کی نقل چلائی جا سکے، بغیر HTTP درخواستوں کو روکے یا بیرونی AI APIs پر انحصار کیے۔ README میں بیان کردہ اہم صلاحیتیں: خود میزبان اور رازداری پر مرکوز: دستاویز پارسنگ، ایمبیڈنگز، ویکٹر بازیافت، نقل اور LLM انفرنس سب خود میزبان Docker ماحول میں چلتے ہیں، بغیر کسی بیرونی AI API کی ضرورت کے۔ غیر مطابقت پذیر پروسیسنگ: کلائنٹس کو فوری 202 قبول شدہ جواب ملتا ہے جس میں ٹاسک شناخت کنندہ ہوتا ہے جبکہ CPU سے بھاری کام پس منظر میں جاری رہتا ہے۔ ریئل ٹائم جواب اسٹریمنگ: Server-Sent Events Python ورکر سے، Redis Pub/Sub اور Go گیٹ وے کے ذریعے، براؤزر تک ٹوکن بہ ٹوکن جوابات اسٹریم کرتی ہیں۔ S3-مطابق آبجیکٹ اسٹوریج: ترقی کے لیے MinIO اور پیداوار کے لیے Cloudflare R2، اسی S3-مطابق کلائنٹ کنفیگریشن کا استعمال کرتے ہوئے۔ مواد سے خطاب شدہ پروسیسنگ: SHA-256 فنگر پرنٹس ماخذ مواد، آپریشن اور پیرامیٹرز کو ملا کر مکمل شدہ آرٹیفیکٹس کو دوبارہ استعمال کرتے ہیں اور بیک وقت ڈپلیکیٹ پروسیسنگ کو دباتے ہیں۔ کثیر لسانی بازیافت: کثیر لسانی ایمبیڈنگز، ٹوکنائزر سے آگاہ چنکنگ اور FAISS کوزائن-مماثلت تلاش معاون زبانوں میں متعلقہ شواہد بازیافت کرتی ہے۔ الگ تھلگ خودکار جانچ: Go ہینڈلرز انجیکٹڈ Redis اور اسٹوریج انٹرفیس استعمال کرتے ہیں، جبکہ Python ٹیسٹ Pytest اور pytest-mock کے ساتھ ماڈلز، اسٹوریج اور نیٹ ورک آپریشنز کو نقلی بناتے ہیں۔ آرکیٹیکچر: ایک Next.js فرنٹ اینڈ نقل، خلاصہ اور سوال جواب کے ورک فلو فراہم کرتا ہے، TanStack Query پولنگ اور SSE رینڈرنگ کے ساتھ۔ Go + Echo گیٹ وے انجیشن، توثیق، آبجیکٹ اسٹوریج پر اسٹریمنگ اپ لوڈ، ٹاسک ڈسپیچ، ڈپلیکیٹ دبانے اور SSE پراکسی کرتا ہے۔ Redis بروکر، ٹاسک اسٹیٹ اسٹور، پروسیسنگ کیش اور تقسیم شدہ لاک پرت کے طور پر کام کرتا ہے۔ Python ورکر قطاروں کو پول کرتا ہے اور تین پائپ لائنیں چلاتا ہے: Qwen3 0.6B کے ساتھ Map-Reduce پائپ لائن کے ذریعے خلاصہ کے لیے Distiller، FastEmbed ایمبیڈنگز اور FAISS انڈیکس کے ساتھ RAG کے لیے Gleaner، اور Faster-Whisper کے ذریعے آڈیو نقل کے لیے Scriber۔ تعیناتی: تقریباً 4 vCPUs اور 8 GB RAM والے چھوٹے CPU-صرف VPS کے لیے ڈیزائن کیا گیا، AI ورکر کے ساتھ تقریباً 2 GB میموری بجٹ۔ کوانٹائزڈ Q4_K_M GGUF ماڈلز، میموری-میپڈ لوڈنگ، ONNX پر مبنی ایمبیڈنگز، فی دستاویز FAISS IndexFlatIP انڈیکس، ترتیب وار ورکر ہم آہنگی اور بیرونی حالت وسائل کے استعمال کو پیش قیاس رکھتی ہے۔ چلانا: Docker اور Docker Compose شرائط ہیں؛ ریپوزٹری کلون کریں اور docker-compose up --build -d چلائیں۔ ابتدائی بوٹ میں چند منٹ لگ سکتے ہیں جبکہ ماڈل فائلیں ڈاؤن لوڈ اور کیش ہوتی ہیں۔ پیداواری اسٹوریج اسی S3 کنفیگریشن سطح کو R2 اینڈ پوائنٹ اور S3_REGION=auto کے ساتھ استعمال کرتا ہے، اور لائف سائیکل قواعد Wrangler کے ساتھ لاگو کیے جا سکتے ہیں۔ خام آبجیکٹ ایک دن کے بعد اور کیش آبجیکٹ آٹھ دن کے بعد ختم ہو جاتے ہیں، جبکہ Redis کیش میٹا ڈیٹا سات دنوں تک دوبارہ قابل استعمال رہتا ہے۔ جانچ: Go گیٹ وے ٹیسٹ ہینڈلر رویے، فنگر پرنٹس، کیش ہٹس، پرانے لاک کی بازیابی اور اسٹوریج تک رسائی کے لیے Testify نقلی استعمال کرتے ہیں؛ Python ٹیسٹ کیش ملکیت، ٹوکن سے آگاہ انڈیکسنگ، اسٹریمنگ صفائی، ورکر روٹنگ، آرٹیفیکٹ دوبارہ استعمال اور ناکامی کی بازیابی کی توثیق کرتے ہیں؛ فرنٹ اینڈ CI TypeScript ٹائپ چیکنگ، ESLint اور پروڈکشن Next.js بلڈ چلاتا ہے۔ لائسنس: MIT۔