প্রকল্প সম্পর্কে

LangExtract একটি পাইথন লাইব্রেরি যা বিশাল ভাষা মডেল ব্যবহার করে ব্যবহারকারীর নির্দেশনা অনুযায়ী অগঠিত টেক্সট ডকুমেন্ট থেকে কাঠামোবদ্ধ তথ্য বের করে। এটি ক্লিনিক্যাল নোট বা রিপোর্টের মতো উপকরণের জন্য ডিজাইন করা, যেখানে প্রধান তথ্য চিহ্নিত ও সংগঠিত করা হয় এবং নিশ্চিত করা হয় যে বেরকৃত ডেটা মূল টেক্সটের সাথে মিলে যায়। রেডিমেটে বর্ণিত প্রধান বৈশিষ্ট্যসমূহ: - সঠিক উৎস গ্রাউন্ডিং: প্রতিটি বেরকৃত অংশ মূল টেক্সটে তার নির্দিষ্ট চরিত্র স্প্যানের সাথে ম্যাপ করা হয়, যা ট্রেসেবিলিটি ও যাচাইয়ের জন্য দৃশ্যমান হাইলাইটিং সক্ষম করে। যা চিহ্নিত করা যায়নি সেগুলোর char_interval = None থাকে এবং সেগুলো ফিল্টার করা যেতে পারে। - নির্ভরযোগ্য কাঠামোবদ্ধ আউটপুট: আউটপুট স্কিমা ফিউ-শট উদাহরণ দ্বারা পরিচালিত হয়, জেমিনির মতো মডেলের উপর নিয়ন্ত্রিত উৎপাদন সমর্থনযোগ্য। - দীর্ঘ নথি পরিচালনা: বড় নথিতে রিকল উন্নত করতে টেক্সট চাঙ্কিং, সমান্তরাল প্রসেসিং এবং একাধিক এক্সট্রাকশন পাস। - ইন্টারেক্টিভ ভিজ্যুয়ালাইজেশন: মূল প্রসঙ্গে বেরকৃত এন্টিটিগুলো পর্যালোচনা করার জন্য একটি স্বয়ংসম্পূর্ণ ইন্টারেক্টিভ HTML ফাইল তৈরি করে। - নমনীয় মডেল সমর্থন: গুগল জেমিনি পরিবার, ওপেনএআই মডেল, এবং অন্তর্নির্মিত ওলামা ইন্টারফেসের মাধ্যমে লোকাল ওপেন-সোর্স মডেল। প্লাগইন সিস্টেমের মাধ্যমে কাস্টম মডেল প্রোভাইডার নিবন্ধন ও আলাদা প্যাকেজ হিসেবে বিতরণ করা যায়। - ডোমেইন অভিযোজনযোগ্যতা: কোনো মডেল ফাইন-টিউনিং ছাড়াই পrompt ও কয়েকটি উদাহরণ দিয়ে এক্সট্রাকশন টাস্ক সংজ্ঞায়িত করা হয়। প্রচলিত ব্যবহারে একটি পprompt ও উদাহরণ সংজ্ঞায়িত করে lx.extract কোল করা, ফলাফল JSONL তে সংরক্ষণ, এবং HTML ভিজ্যুয়ালাইজেশন তৈরি করা অন্তর্ভুক্ত। দীর্ঘ নথির জন্য স্কেলিং অপশন হিসেবে extraction_passes, max_workers, এবং max_char_buffer উপলব্ধ। স্থাপন PyPI থেকে (pip install langextract), সোর্স থেকে pyproject.toml দিয়ে, বা Docker-এর মাধ্যমে করা যায়। ক্লাউড মডেলের জন্য API কী প্রয়োজন যা পরিবেশ চলক, .env ফাইল, সরাসরি প্যারামিটার, বা Vertex AI সার্ভিস একাউন্টের মাধ্যমে কনফিগার করা যায়। প্রজেক্টে pytest, tox, pylint, এবং pre-commit হুকসহ টেস্টিং ও ডেভেলপমেন্ট টুলিং অন্তর্ভুক্ত। রেডিমেট note করে যে এটি অফিশিয়ালি সাপোর্টেড গুগল প্রোডাক্ট নয় এবং এর ব্যবহার Apache 2.0 লাইসেন্সের অধীনে, স্বাস্থ্য সংক্রান্ত অ্যাপ্লিকেশনের জন্য অতিরিক্ত শর্তাবলী প্রযোজ্য।