প্রকল্প সম্পর্কে

PageIndex একটি ওপেন-সোর্স রিট্রিভিয়াল-অগমেন্টেড জেনারেশন (RAG) ইঞ্জিন, যা ভেক্টর সিমিলারিটি সার্চের পরিবর্তে হায়ারারকিকাল ট্রি ইন্ডেক্স এবং LLM তর্ক ব্যবহার করে। প্রকল্পটি যুক্ত করে যে সিমিলারিটি প্রাসঙ্গিকতার সাথে একই নয়, এবং দীর্ঘ পেশাদার ডকুমেন্টে প্রাসঙ্গিকতাembedding লুকআপের পরিবর্তে তর্কের প্রয়োজন। কীভাবে কাজ করে: পুনরুদ্ধার দুটি ধাপে ঘটে। প্রথমে, একটি ইন্ডেক্স ধাপ প্রতিটি ডকুমেন্টের জন্য ট্রি-স্ট্রাকচার ইন্ডেক্স তৈরি করে। দ্বিতীয়ে, একটি পুনরুদ্ধার ধাপ LLM তর্ক ব্যবহার করে এজেন্টের মতো সেই ট্রি খোঁজে, যা একটি মানব বিশেষজ্ঞের একটি দীর্চা রিপোর্ট নেভিগেট করার মতো। README বলে যে ট্রি স্ট্রাকচার ডকুমেন্ট লেআউট থেকে LLM ব্যবহার না করে নিষ্কাশন করা হয়, এবং ইন্ডেক্স মডেল শুধু এটি সংক্ষিপ্ত করে এবং উন্নত করে, তাই ইন্ডেক্স সময়ে একটি মৌলিক মডেল যথেষ্ট বলে মনে হয়। ট্রি খোঁজ করার চ্যাট মডেল, যেখানে README সর্বোত্তম উপলব্ধ মডেল ব্যবহার করার সুপারিশ করে। ইনস্টলেশন এবং ব্যবহার: SDK-কে `pip install -U pageindex` দিয়ে ইনস্টল করা হয়। একটি PageIndexClientকে একটি ইন্ডেক্স মডেল এবং একটি চ্যাট মডেল দিয়ে কনফিগার করা হয়, একটি ডকুমেন্ট জমা দেওয়া হয় একটি doc_id পেতে, এবং প্রশ্নগুলো `client.chat()` এর মাধ্যমে জিজ্ঞাসা করা হয়। README একটি লোকাল মোডের কথা বলে যা ব্যবহারকারীর নিজের মেশিনে নিজের LLM কী দিয়ে ইন্ডেক্সিং, পুনরুদ্ধার এবং চ্যাট চালায়, এবং একটি ক্লাউড মোড যা একই ক্লায়েন্টকে একটি API কী দিয়ে PageIndex Cloud-কে নির্দেশ করে। ক্লাউড মোড পার্সিং, OCR, চিত্র বোঝা, ট্রি-ইন্ডেক্স নির্মাণ এবং পরিচালিত স্টোরেজ পরিচালনা করে, লাইন-স্তরের উদ্ধৃতি এবং একটি MCP সার্ভার সহ, enquanto লোকাল মোড পাঠ-প্রবাহী PDF এবং পৃষ্ঠা-স্তরের উদ্ধৃতি সহ স্থানীয় ওয়ার্কফ্লোকে লক্ষ্য করে। README এজেন্ট ফ্রেমওয়ার্ক যেমন OpenAI Agents SDK এবং Claude Agent SDK-এর সাথে ইন্টিগ্রেশনও বর্ণনা করে, এবং একটি পুরো কর্পাসে তর্ক করার জন্য একক ডকুমেন্টের পরিবর্তে একটি PageIndex File System স্তরও বর্ণনা করে। README-এ রিপোর্ট করা বেঞ্চমার্কে লোকাল ইন্ডেক্সিং খরচ প্রায় $0.001 প্রতি পৃষ্ঠা, 9 থেকে 1,098 পৃষ্ঠা পর্যন্ত ডকুমেন্টের জন্য ইন্ডেক্সিং সময় প্রায় 13 সেকেন্ড থেকে 4.5 মিনিট, একটি তুলনা যা দাবি করে যে নেটিভ PDF ইনপুট 52 পৃষ্ঠায় 2.1x বেশি এবং 420 পৃষ্ঠায় 16.6x বেশি খরচ করে, এবং FinanceBench-এ 98.7% সঠিকতা রিপোর্ট করা হয়েছে। এই সংখ্যাগুলো প্রকল্পের নিজের ডকুমেন্টেশন এবং বেঞ্চমার্ক রেপো থেকে আসে এবং এখানে স্বাধীনভাবে যাচাই করা হয়নি। README-এ নামযুক্ত লক্ষ্য ব্যবহারের ক্ষেত্রে আর্থিক রিপোর্ট, আইনিক ডকুমেন্ট, নিয়ামক ফাইলিং, টেকনিক্যাল ম্যানুয়াল, মেডিকেল সাহিত্য এবং একাডেমিক পাঠ্যপুস্তক অন্তর্ভুক্ত।