প্রকল্প সম্পর্কে

skill-up হলো Agent Skills, এজেন্ট এবং তাদের ওয়ার্কস্পেস মূল্যায়নের জন্য একটি কমান্ড-লাইন টুল। এটি একটি Agent Engine-এর বিরুদ্ধে ডিক্লারেটিভ মূল্যায়ন কেস চালায়, উত্তর এবং যেকোনো ওয়ার্কস্পেস পরিবর্তন গ্রেড করে, এবং লোকালি বা CI-তে রিপোর্ট তৈরি করে। তিনটি মূল্যায়ন মোড বর্ণনা করা হয়েছে: Skill evaluation, যা কেস জুড়ে একটি Skill-এর আচরণ পরিমাপ করে এবং Skill সহ ও ছাড়া রান তুলনা করতে পারে; Agent evaluation, যা একটি Skill ইনস্টল না করে একই কেস চালিয়ে একটি ইঞ্জিন বা কাস্টম এজেন্টকে স্বতন্ত্রভাবে মূল্যায়ন করে; এবং Workspace evaluation, যা কেস ফিক্সচার বা বিদ্যমান লোকাল ওয়ার্কস্পেস ব্যবহার করে একটি এজেন্ট কীভাবে ফাইল ও রিপোজিটরি নিয়ে কাজ করে তা যাচাই করে। কনফিগারেশন ডিক্লারেটিভ YAML: একটি eval.yaml এবং cases/*.yaml ফাইল পরিবেশ, ইঞ্জিন, মডেল ও কেস নির্ধারণ করে। টুলটি প্রতি কেসে একটি লোকাল, Docker বা OpenSandbox রানটাইম প্রোভিশন করে, কনফিগার করা বাস্তব বা মক MCP সার্ভার সমর্থিত ইঞ্জিনে ইনস্টল করতে পারে, এবং context.repo_fixture ও context.files ওয়ার্কস্পেসে আপলোড করতে পারে। রানগুলো skill-optional হতে পারে, এবং --workspace দিয়ে একটি বিদ্যমান লোকাল ডিরেক্টরি টার্গেট করা যায় (এতে environment.type: none, একবারে একটি কেস, এবং benchmark মোড বন্ধ থাকা আবশ্যক)। বিল্ট-ইন Agent Engines-এর মধ্যে রয়েছে Qoder CLI, Claude Code এবং Codex, এবং লোকাল ট্রান্সপোর্টে engine.custom-এর মাধ্যমে ব্যবহারকারী-নির্ধারিত এজেন্ট সমর্থিত। জাজিং rule_based, script এবং agent_judge স্ট্র্যাটেজি সমর্থন করে। রিপোর্টের মধ্যে Anthropic-সামঞ্জস্যপূর্ণ grading.json ও benchmark.json, benchmark.md, সাথে result.json, JUnit XML এবং HTML আউটপুট অন্তর্ভুক্ত। একটি import কমান্ড Anthropic-স্টাইলের evals.json-কে YAML লেআউটে মাইগ্রেট করে, এবং --auto এটি স্বয়ংক্রিয়ভাবে শনাক্ত করতে পারে। রিপোজিটরিতে skill-upper নামের একটি সহচর Skill সরবরাহ করা হয়, যা একটি eval-to-evolution লুপ বন্ধ করার উদ্দেশ্যে তৈরি: এটি ব্যর্থতা পরিদর্শন করে, eval স্যুট মেরামত বা সম্প্রসারিত করে, এবং কথোপকথনের মাধ্যমে skill-up পুনরায় চালায়। একটি DeepSeek Harness প্লাগইন বান্ডল টেকসই অবজারভেশন ক্যাপচার, অনুমোদন-নিয়ন্ত্রিত রিগ্রেশন কেস, আইসোলেটেড রান এবং স্ট্যাটাস তুলনা যোগ করে। রিপোজিটরি রুটে একটি GitHub Action pull request-এ ইঞ্জিন জুড়ে eval চালায়; এটি একটি Docker কন্টেইনার অ্যাকশন যা Linux রানার এবং সিক্রেট হিসেবে সংরক্ষিত একটি মডেল ক্রেডেনশিয়াল প্রয়োজন করে, এবং এটি একটি অপরিবর্তনীয় ইমেজ ডাইজেস্ট পিন করে। একটি ইউজার-লেভেল কনফিগ ডিফল্ট OpenTelemetry এনভায়রনমেন্ট ভেরিয়েবল এবং প্রতি-পরিবেশ রানটাইম kwargs সরবরাহ করে, যেখানে এমবেডেড ডিফল্ট থেকে ইউজার ও প্রজেক্ট ফাইল হয়ে একটি স্পষ্ট --config পাথ পর্যন্ত একটি ডিসকভারি চেইন রয়েছে। সিক্রেটগুলো লিটারেলের বদলে ${ENV_VAR}-এর মাধ্যমে রেফারেন্স করার প্রত্যাশা করা হয়। CLI run, validate, list-cases, report, import এবং debug সাবকমান্ড প্রকাশ করে। প্রকল্পটি Go (>=1.25)-এ লেখা এবং Apache 2.0 লাইসেন্সের অধীনে।