منصوبے کے بارے میں

Memvid ایک AI میموری سسٹم ہے جو ڈیٹا، ایمبیڈنگز، سرچ ڈھانچے اور میٹا ڈیٹا کو ایک پورٹیبل .mv2 فائل میں پیک کرتا ہے۔ یہ ملٹی سروس RAG پائپ لائنز اور سرور بیسڈ ویکٹر ڈیٹا بیسز کے متبادل کے طور پر ڈیزائن کیا گیا ہے، جس سے ایجنٹس براہ راست مقامی فائل سے مستقل طویل مدتی میموری حاصل کر سکتے ہیں۔ اسٹوریج ڈیزائن ناقابل تغیر، اپینڈ-ونلی سمارٹ فریمز پر مبنی ہے جن میں مواد، ٹائم اسٹیمپ، چیک سمز اور میٹا ڈیٹا ہوتا ہے۔ فریمز کو کمپریشن، انڈیکسنگ اور متوازی پڑھنے کے لیے گروپ کیا جاتا ہے، جو ٹائم لائن معائنہ، ری پلے، برانچنگ، پچھلی حالتوں پر سوالات اور کمٹڈ فریمز کے ذریعے کریش ریکوری کو سپورٹ کرتا ہے۔ فائل فارمیٹ میں ایک ہیڈر، ایمبیڈڈ رائٹ-اہیڈ لاگ، کمپریسڈ ڈیٹا سیگمنٹس، فل ٹیکسٹ اور ویکٹر انڈیکس، ایک ٹائم انڈیکس اور ایک ٹیبل-آف-کونٹینٹس فوٹر شامل ہے، بغیر علیحدہ سائڈ کار فائلوں کے۔ تلاش اور انجیشن کی صلاحیتیں Rust فیچر فلیگ کے ذریعے فعال ہوتی ہیں۔ lex فیچر Tantivy کے ساتھ BM25 فل ٹیکسٹ سرچ فراہم کرتا ہے، جبکہ vec HNSW ویکٹر سمیلیریٹی سرچ اور مقامی ONNX ٹیکسٹ ایمبیڈنگز فراہم کرتا ہے۔ معاون مقامی ایمبیڈنگ ماڈلز میں BGE-small، BGE-base، Nomic Embed Text اور GTE-large شامل ہیں۔ ایک مستقل ماڈل-بائنڈنگ چیک انڈیکس کو مختلف ماڈل کی ایمبیڈنگز سے استفسار کرنے سے روکنے میں مدد کرتا ہے۔ api_embed فیچر OpenAI ایمبیڈنگ ماڈلز کو سپورٹ کرتا ہے، بشمول text-embedding-3-small، text-embedding-3-large اور ada-002۔ اضافی اختیاری فیچرز میں PDF ٹیکسٹ نکالنے اور صفائی، تصویری تلاش کے لیے CLIP بصری ایمبیڈنگز، منتخب ماڈل سائز کے ساتھ Whisper آڈیو ٹرانسکرپشن، قدرتی زبان کی وقتی ٹریکنگ، ملٹی تھریڈڈ انجیشن اور پاس ورڈ پر مبنی انکرپٹڈ .mv2e کیپسول شامل ہیں۔ ریپوزٹری میں بنیادی لائف سائیکل آپریشنز، PDF انجیشن، بصری تلاش، Whisper ٹرانسکرپشن اور ٹیکسٹ ایمبیڈنگز کی مثالیں شامل ہیں۔ Memvid ایک Rust کور کریٹ، ایک Node.js SDK، ایک Python SDK اور ایک اسٹینڈ لون CLI فراہم کرتا ہے۔ Rust کریٹ کے لیے Rust 1.85.0 یا اس سے نئے ورژن کی ضرورت ہے اور یہ Apache License 2.0 کے تحت جاری کیا گیا ہے۔ README میں طویل مدتی ایجنٹس، انٹرپرائز نالج بیسز، آف لائن-فرسٹ ایپلی کیشنز، کوڈ بیس کو سمجھنا، سپورٹ ایجنٹس، ذاتی نالج اسسٹنٹس اور قابل تدقیق AI ورک فلو جیسے استعمال کے کیسز درج ہیں۔ اس کے رپورٹ کردہ بینچ مارک نتائج، بشمول لیٹنسی اور LoCoMo درستگی کے اعداد و شمار، پروجیکٹ کے دعوے ہیں نہ کہ آزادانہ طور پر تصدیق شدہ پیمائشیں۔