প্রকল্প সম্পর্কে

jevos হলো Jev-এর একটি লোকাল, ওপেন-সোর্স বিকল্প, যা হ্যাঁ/না সিদ্ধান্তের জন্য ব্যবহৃত হয়। আপনি একটি টেক্সট ("state") এবং এক বা একাধিক হ্যাঁ/না প্রশ্ন পাঠান, এবং এটি প্রতিটির জন্য P(yes) ফেরত দেয়। এটি ল্যাপটপ CPU-তে চালানোর জন্য ডিজাইন করা হয়েছে, যেখানে অনুরোধের দৈর্ঘ্যের উপর নির্ভর করে আনুমানিক ৫০-২২০ ms ল্যাটেন্সি রিপোর্ট করা হয়েছে। এটি কী করে - হ্যাঁ/না প্রশ্ন: প্রতিটি উত্তর ০ থেকে ১-এর মধ্যে একটি সম্ভাবনা ("noul" মান)। - একটি একক অনুরোধে একাধিক নামযুক্ত প্রশ্ন জিজ্ঞাসা করা যায়; তারা একই state শেয়ার করে, যা একবার পড়া হয়, তাই আলাদাভাবে জিজ্ঞাসা করার চেয়ে একাধিক প্রশ্ন কম খরচে হয়। - state একটি সাধারণ স্ট্রিং বা যেকোনো JSON অবজেক্ট/অ্যারে হতে পারে। - একাধিক পছন্দ এবং স্কোরিং প্রশ্নের ধরন এখনও সমর্থিত নয় (সেগুলি "শীঘ্রই" হিসেবে তালিকাভুক্ত); এই ধরনের অনুরোধ HTTP ৪২২ দিয়ে প্রত্যাখ্যান করা হয়। এটি কীভাবে চালে - এটি llama.cpp-এর মাধ্যমে পরিবেশিত একটি কোয়ান্টাইজড GGUF মডেল (jevos-q4_k_m.gguf) ব্যবহার করে, এবং --device cpu ও নির্বাচিত থ্রেড সংখ্যা দিয়ে CPU-তে পিন করা যায়। - সার্ভার TypeSafe Jev-এর ওয়্যার ফরম্যাটে কথা বলে, তাই Jev-এর SDK-এর জন্য লেখা কোড হ্যাঁ/না প্রশ্নের জন্য অপরিবর্তিতভাবে কাজ করে। API এবং CLI - POST /v1/systemone মডেল, state এবং প্রশ্ন গ্রহণ করে, এবং উত্তরসহ টোকেন ব্যবহার ফেরত দেয়। - GET /v1/models এবং GET /health-ও দেওয়া আছে; প্রতিক্রিয়ায় inference সময়সহ একটি Server-Timing হেডার অন্তর্ভুক্ত থাকে। - একটি CLI কমান্ড, jev decide, সার্ভার শুরু না করেই একটি একক অনুরোধ ফাইল উত্তর দেয়, ঐচ্ছিকভাবে উত্তরটি একটি নতুন ফাইলে লেখে (বিদ্যমান ফাইল ওভাররাইট করা হয় না)। - দ্রুত শুরু করতে uv ব্যবহার করে নির্ভরতা ইনস্টল করা, llama.cpp রানটাইম ডাউনলোড করা, এবং 127.0.0.1:8017-এ সার্ভার শুরু করা হয়। ব্যবহারিক নোট - README পরামর্শ দেয় সিদ্ধান্তের নিয়ম সরাসরি প্রশ্নের নির্দেশাবলীতে রাখতে; Jev-এর ঐচ্ছিক criteria ফিল্ড গ্রহণ করা হয় কিন্তু উপেক্ষা করা হয়। - উইকিতে শূন্য-শট টেক্সট শ্রেণীবিভাগ, CPU-তে LLM-এ-বিচারক, নীতি সিদ্ধান্ত, এবং পর্যবেক্ষিত মডেল আচরণ যেমন কেন একটি ছোট LLM উত্তর না হলে হ্যাঁ বলতে পারে তা আলোচনা করা হয়েছে। - প্রকল্পটি Loris Salsi (@LosaLosSantos)-এর সাথে একত্রে নির্মিত বলে কৃতিত্ব দেওয়া হয়েছে।