প্রকল্প সম্পর্কে

OpenAI Evals হলো একটি কাঠামো যা বৃহৎ ভাষা মডেল (LLM) এবং তাদের উপর নির্মিত সিস্টেম মূল্যায়নের জন্য ডিজাইন করা হয়েছে। এটি OpenAI মডেলের বিভিন্ন দিক পরীক্ষা করার জন্য বিদ্যমান ইভালের একটি রেজিস্ট্রি সরবরাহ করে, সাথে নির্দিষ্ট ব্যবহারের ক্ষেত্রে কাস্টম ইভাল লেখার ক্ষমতাও দেয়। ব্যবহারকারীরা নিজস্ব ডেটা ব্যবহার করে ব্যক্তিগত ইভাল তৈরি করতে পারেন, যা সাধারণ LLM প্যাটার্ন উপস্থাপন করে এবং ডেটা প্রকাশ্যে না রেখেই কাজ করে। সেটআপের জন্য একটি OpenAI API কী প্রয়োজন, যা OPENAI_API_KEY পরিবেশ পরিবর্তনশীলের মাধ্যমে নির্দিষ্ট করা হয়। ইভাল রেজিস্ট্রি Git-LFS ব্যবহার করে সংরক্ষিত হয়, এবং ব্যবহারকারীরা সমস্ত বা নির্বাচিত ইভাল ডেটা আনতে পারেন। ইভাল তৈরির জন্য, রিপোটি ক্লোন করে `pip install -e .` দিয়ে ইনস্টল করার পরামর্শ দেওয়া হয়, সাথে প্রি-কমিট হুকের জন্য ঐচ্ছিক ফরম্যাটারও থাকে। ইভাল চালানো `pip install evals` এর মাধ্যমে করা যায়, সম্পূর্ণ নির্দেশনা run-evals.md এবং eval-templates.md ফাইলে রয়েছে। প্রম্পট চেইন বা টুল-ব্যবহারকারী এজেন্টের মতো উন্নত ব্যবহারের ক্ষেত্রে কমপ্লিশন ফাংশন প্রোটোকল সমর্থিত। ফলাফল ঐচ্ছিকভাবে একটি Snowflake ডেটাবেসে লগ করা যায়। ইভাল লেখার নির্দেশনা build-eval.md, custom-eval.md, এবং completion-fns.md ফাইলে দেওয়া আছে, সাথে examples ফোল্ডারে উদাহরণ রয়েছে। বর্তমানে, কাস্টম কোড ইভাল গ্রহণ করা হয় না, তবে কাস্টম YAML ফাইল সহ মডেল-গ্রেডেড ইভাল স্বাগত। মডেল উন্নতির জন্য OpenAI কর্মীরা অবদান পর্যালোচনা করেন। FAQ সাধারণ প্রশ্নগুলির উত্তর দেয়, যার মধ্যে রয়েছে শুরু থেকে শেষ পর্যন্ত ইভাল তৈরির উদাহরণ, একাধিক বাস্তবায়ন (যেমন coqa.yaml), এবং একটি পরিচিত সমস্যা যেখানে ইভাল শেষে ঝুলতে পারে (বাধা দেওয়া নিরাপদ)। অ-কোডাররা JSON ডেটা এবং YAML প্যারামিটার সহ বিদ্যমান ইভাল টেমপ্লেট অনুসরণ করে অবদান রাখতে পারেন। অবদানকারীরা MIT লাইসেন্সের অধীনে মূল্যায়ন যুক্তি এবং ডেটা ভাগ করতে সম্মত হন, এবং OpenAI পরিষেবা উন্নতির জন্য ডেটা ব্যবহারের অধিকার সংরক্ষণ করে, যা ব্যবহার নীতির সাপেক্ষে।