প্রকল্প সম্পর্কে

## প্রকল্প সংক্ষিপ্ত বিবরণ Chinese-LLaMA-Alpaca একটি চীনা ভাষার প্রাকৃতিক ভাষা প্রক্রিয়াকরণের জন্য ওপেন সোর্স বৃহৎ ভাষা মডেল প্রকল্প। এর লক্ষ্য চীনা সম্প্রদায়ে বৃহৎ মডেলের উন্মুক্ত গবেষণা এগিয়ে নেওয়া। প্রকল্পটি মূল LLaMA-এর ভিত্তিতে চীনা শব্দভাণ্ডার সম্প্রসারণ করেছে এবং চীনা ভাষার কর্পাস ব্যবহার করে দ্বিতীয়বার প্রি-ট্রেইনিং করেছে, যাতে চীনা ভাষার মৌলিক শব্দার্থ বোঝার ক্ষমতা উন্নত হয়; এর উপর ভিত্তি করে, চীনা Alpaca মডেলটি আরও চীনা নির্দেশ ডেটা দিয়ে ফাইন-টিউন করা হয়েছে, যাতে নির্দেশ বোঝা ও কার্যকর করার ক্ষমতা বৃদ্ধি পায়। প্রকল্পটির সাথে সংশ্লিষ্ট প্রযুক্তিগত প্রতিবেদন হলো 《Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca》（arXiv:2304.08177）。 ## প্রধান ক্ষমতা - মূল LLaMA-এর জন্য চীনা শব্দভাণ্ডার সম্প্রসারণ, চীনা এনকোডিং/ডিকোডিং দক্ষতা বৃদ্ধি। - চীনা পাঠ্য দিয়ে প্রি-ট্রেইন করা চীনা LLaMA এবং নির্দেশ-টিউন করা চীনা Alpaca ওপেন সোর্স হিসেবে প্রকাশ। - প্রি-ট্রেইনিং স্ক্রিপ্ট ও নির্দেশ-টিউনিং স্ক্রিপ্ট সরবরাহ, ব্যবহারকারীর প্রয়োজন অনুযায়ী প্রশিক্ষণ চালিয়ে যাওয়ার সুবিধা। - ব্যক্তিগত কম্পিউটারে (ল্যাপটপ) CPU/GPU-তে লোকাল কোয়ান্টাইজেশন ও ডিপ্লয়মেন্ট সমর্থন। - transformers, llama.cpp, text-generation-webui, LlamaChat, LangChain, privateGPT ইত্যাদি ইকোসিস্টেম টুলের সাথে সামঞ্জস্যপূর্ণ। ## মডেল সংস্করণ ইতিমধ্যে ওপেন সোর্স করা মডেলের আকার 7B, 13B, 33B; প্রতিটি আকারে বেসিক, Plus এবং Pro সংস্করণ রয়েছে। Plus সিরিজে বেশি প্রশিক্ষণ ডেটা ব্যবহৃত হয়, Pro সিরিজে সংক্ষিপ্ত উত্তর দেওয়ার সমস্যা উন্নত করা হয়েছে। মডেল দুটি শ্রেণিতে বিভক্ত: - চীনা LLaMA: ভিত্তি মডেল, প্রথাগত CLM প্রশিক্ষণ ব্যবহার করে, টেক্সট চালিয়ে যাওয়ার জন্য উপযুক্ত, নির্দেশ বোঝা ও মাল্টি-টার্ন চ্যাটের জন্য নয়। - চীনা Alpaca: নির্দেশ বোঝার মডেল, নির্দেশ-টিউনিং ব্যবহার করে, প্রশ্নোত্তর, লেখা, পরামর্শ এবং মাল্টি-টার্ন প্রসঙ্গ বোঝার জন্য উপযুক্ত। মূল LLaMA-এর লাইসেন্স সীমাবদ্ধতার কারণে, প্রকল্পটি LoRA ওজন প্রকাশ করে; সম্পূর্ণ মডেল পেতে মূল LLaMA-এর সাথে একীভূত করতে হয়, একা ব্যবহার করা যায় না। ## ব্যবহারের ধাপ 1. Hugging Face, ModelScope বা Baidu Netdisk থেকে সংশ্লিষ্ট LoRA ওজন ডাউনলোড করুন। 2. LoRA ওজন মূল LLaMA-এর সাথে একীভূত করুন; অনলাইন রূপান্তর (Colab notebook) বা ম্যানুয়াল রূপান্তর টিউটোরিয়াল দেখুন। 3. ইনফারেন্স ও ডিপ্লয়মেন্ট পদ্ধতি বেছে নিন: llama.cpp, Transformers, text-generation-webui, LlamaChat, LangChain, privateGPT, Colab Gradio Demo এবং OpenAI-সদৃশ API কল Demo। 4. কাজের ধরন অনুযায়ী উপযুক্ত মডেল ও স্টার্টআপ প্যারামিটার বেছে নিন; উদাহরণস্বরূপ, Alpaca-এর জন্য টেমপ্লেট অনুযায়ী ইনপুট ফরম্যাট প্রয়োজন। একীভূত করার পর মডেলের আকার পরিবর্তিত হয়; উদাহরণস্বরূপ, 7B-এর FP16 প্রায় 13GB, 4-bit কোয়ান্টাইজেশনের পর প্রায় 3.9GB; 33B-এর FP16 প্রায় 60GB, 4-bit কোয়ান্টাইজেশনের পর প্রায় 17.2GB। ## প্রশিক্ষণের বিবরণ প্রশিক্ষণ প্রক্রিয়ায় তিনটি অংশ রয়েছে: শব্দভাণ্ডার সম্প্রসারণ, প্রি-ট্রেইনিং এবং নির্দেশ-টিউনিং। শব্দভাণ্ডার সম্প্রসারণের কোড merge_tokenizers.py-তে রয়েছে; প্রি-ট্রেইনিং ও নির্দেশ-টিউনিং কোড transformers-এর run_clm.py এবং Stanford Alpaca-এর ডেটাসেট প্রক্রিয়াকরণ অংশ অনুসরণ করে। সংশ্লিষ্ট প্রশিক্ষণ স্ক্রিপ্ট Wiki-তে ওপেন সোর্স করা হয়েছে। ## মূল্যায়ন পরিস্থিতি প্রকল্পটি C-Eval ডেটাসেটে একাধিক মডেলের উদ্দেশ্যমূলক মূল্যায়ন করেছে; টেস্ট সেটে প্রায় 12.3Kটি বহুনির্বাচনি প্রশ্ন রয়েছে, যা 52টি বিষয় কভার করে। README-তে প্রতিটি মডেলের valid/test সেটে zero-shot ও 5-shot গড় স্কোর তালিকাভুক্ত; উদাহরণস্বরূপ, Chinese-Alpaca-Plus-33B-এর test 5-shot স্কোর 43.5। প্রকল্পটি জেনারেশন ফলাফলের মূল্যায়ন নমুনা এবং অনলাইন প্রতিযোগিতা প্ল্যাটফর্মও সরবরাহ করে। ## সীমাবদ্ধতা ও ঘোষণা প্রকল্পটি স্পষ্টভাবে উল্লেখ করেছে যে মডেলটি অপ্রত্যাশিত ক্ষতিকারক বিষয়বস্তু বা মানুষের পছন্দের সাথে অসঙ্গতিপূর্ণ বিষয়বস্তু তৈরি করতে পারে; কম্পিউটেশন ক্ষমতা ও ডেটার সীমাবদ্ধতার কারণে প্রশিক্ষণ যথেষ্ট নয়, চীনা ভাষা বোঝার ক্ষমতা এখনও উন্নতির জায়গা রয়েছে; প্রকল্পটি নিজে কোনো অনলাইন ইন্টারঅ্যাকটিভ ডেমো সরবরাহ করে না, ব্যবহারকারীদের নিজে লোকাল ডিপ্লয়মেন্ট করতে হবে। সংশ্লিষ্ট সম্পদ শুধুমাত্র একাডেমিক গবেষণার জন্য, বাণিজ্যিক ব্যবহার কঠোরভাবে নিষিদ্ধ, মডেলের আউটপুটের নির্ভুলতা নিশ্চিত করা হয় না। ## সংশ্লিষ্ট প্রকল্প সরকারি পরবর্তী প্রকল্পগুলির মধ্যে রয়েছে Chinese-LLaMA-Alpaca-2（চীনা LLaMA-2, Alpaca-2 বৃহৎ মডেল）এবং Visual-Chinese-LLaMA-Alpaca（মাল্টিমোডাল চীনা LLaMA ও Alpaca বৃহৎ মডেল）。