منصوبے کے بارے میں

LangExtract ایک Python لائبریری ہے جو بڑے زبان کے ماڈلز (LLMs) کا استعمال کرتے ہوئے صارف کی دی گئی ہدایات کے مطابق غیر منظم متن کے دستاویزات سے ساختی معلومات نکالتا ہے۔ یہ کلینیکل نوٹس یا رپورٹس جیسے مواد کے لیے ڈیزائن کیا گیا ہے، اہم تفصیلات کی شناخت اور تنظیم کرتا ہے، ساتھ یہ یقینی بناتا ہے کہ نکالا گیا ڈیٹا ماخذ متن سے مطابقت رکھتا ہو۔ README میں بیان کردہ اہم صلاحیتیں: - درست ماخذ سے وابستگی: ہر نکالنے کو ماخذ متن کے بالکل درست کرداری وقفے پر نقشہ بنایا جاتا ہے، جس سے ٹریس ایبلیٹی اور تصدیق کے لیے بصری ہائیلائٹنگ ممکن ہوتی ہے۔ وہ نکالنے جو ماخذ میں تلاش نہیں کیے جا سکتے انہیں char_interval = None ملتا ہے اور انہیں فلٹر کیا جا سکتا ہے۔ - قابل اعتماد ساختی آؤٹ پٹ: آؤٹ پٹ اسکیما few-shot مثالوں سے چلتا ہے، Gemini جیسے ماڈلز پر کنٹرولڈ جنریشن سپورٹ شدہ ہے۔ - لمبے دستاویزات کا ہینڈلنگ: ٹیکسٹ چنکنگ، متوازی پروسیسنگ، اور متعدد استخراج عمل بڑے دستاویزات پر ری کال بہتر بنانے کے مقصد کے لیے ہیں۔ - تعاملی ویژولائزیشن: اصل سیاق و سباق میں نکالی گئی اشیاء کا جائزہ لینے کے لیے ایک خود ساختہ تعاملی HTML فائل تیار کرتا ہے۔ - لچکدار ماڈل سپورٹ: Google Gemini فیملی، آپشنل ڈیپینڈنسی کے ذریعے OpenAI ماڈلز، اور بلٹ ان Ollama انٹرفیس کے ذریعے مقامی اوپن سورس ماڈلز جیسے کلاؤڈ ماڈلز۔ پلگ ان سسٹم کے ذریعے حسب ضرورت ماڈل فراہم کنندگان کو رجسٹر اور علیحدہ پیکیجز کے طور پر تقسیم کیا جا سکتا ہے۔ - ڈومین ایڈاپٹیبلٹی: استخراج کے کام prompt اور چند مثالوں کے ساتھ تعریف کیے جاتے ہیں، بغیر ماڈل فائن ٹیوننگ کے۔ عام استعمال میں prompt اور مثالیں استخراج کی تعریف کرنا، lx.extract کو متن یا دستاویز URL کے ساتھ کال کرنا، نتائج کو JSONL میں محفوظ کرنا، اور HTML ویژولائزیشن تیار کرنا شامل ہے۔ لمبے دستاویزات کے اسکیلنگ کے لیے extraction_passes، max_workers، اور max_char_buffer جیسے آپشنز موجود ہیں، ساتھ ہی Vertex AI اور OpenAI بیچ پروسیسنگ کنفیگریشن بڑے کاموں کے لیے دستیاب ہیں۔ انسٹالیشن PyPI سے دستیاب ہے (pip install langextract)، pyproject.toml کے ساتھ سورس سے، یا Docker کے ذریعے۔ کلاؤڈ ماڈلز کے لیے API کلے کی ضرورت ہوتی ہے، جسے ماحولیاتی تغیرات، .env فائل، براہ راست پیرامیٹرز، یا Vertex AI سروس اکاؤنٹس کے ذریعے ترتیب دیا جا سکتا ہے۔ اس پروجیکٹ میں pytest، tox، pylint، اور pre-commit hooks جیسے ٹیسٹنگ اور ڈیولپمنٹ ٹولز شامل ہیں۔ README میں نوٹ کیا گیا ہے کہ یہ سرکاری طور پر سپورٹ شدہ Google پروڈکٹ نہیں ہے اور استعمال Apache 2.0 لائسنس کے تحت ہے، صحت سے متعلق اطلاق کے لیے اضافی شرائط ہیں۔