প্রকল্প সম্পর্কে

Turbo AI Chat হলো HarmonyOS NEXT-এর জন্য বিশেষভাবে ডিজাইন করা একটি নেটিভ অন-ডিভাইস লার্জ ল্যাঙ্গুয়েজ মডেল চ্যাট অ্যাপ্লিকেশন। এই প্রজেক্টটি ArkTS, C++ N-API এবং MNN Runtime ব্যবহার করে তৈরি করা হয়েছে, যা Android কম্প্যাটিবিলিটি লেয়ার ছাড়াই সরাসরি HarmonyOS NDK-এর সাথে যুক্ত একটি পিওর নেটিভ ইনফারেন্স চেইন (ArkTS → N-API → MNN → CPU) বাস্তবায়ন করেছে। এর প্রধান বৈশিষ্ট্যগুলোর মধ্যে রয়েছে: - লোকাল ইনফারেন্স: ডিভাইসে সরাসরি LLM চালানোর সুবিধা, যার জন্য ইন্টারনেটের প্রয়োজন নেই এবং এটি স্ট্রিমিং আউটপুট ও জেনারেশন ইন্টারাপ্ট ফাংশন প্রদান করে। - মডেল ম্যানেজমেন্ট: বিল্ট-ইন মডেল স্কয়ার রয়েছে, যা ModelScope থেকে প্রি-সেট মডেল (যেমন Qwen3-4B-Instruct, MiniCPM5-1B, Gemma-4-E2B-it) এক ক্লিকে ডাউনলোড করতে দেয় এবং zip বা hdc-এর মাধ্যমে ম্যানুয়ালি সামঞ্জস্যপূর্ণ MNN মডেল ডিরেক্টরি ইম্পোর্ট করার সুবিধা দেয়। - মাল্টিমোডাল ক্ষমতা: টেক্সট কথোপকথন এবং ইমেজ আন্ডারস্ট্যান্ডিং সাপোর্ট করে (সামঞ্জস্যপূর্ণ মাল্টিমোডাল MNN মডেলের ওপর নির্ভরশীল)। - ডেভেলপার টুলস: রিয়েল-টাইম রান মনিটরিং (CPU, মেমরি, তাপমাত্রা, TTFT/TPOT ইত্যাদি মেট্রিক্স) এবং লোকাল এরিয়া নেটওয়ার্ক OpenAI কম্প্যাটিবল API সার্ভিস প্রদান করে, যা এক্সটারনাল ক্লায়েন্টকে (যেমন Cherry Studio) ডিভাইসের মডেল কল করার অনুমতি দেয়। - ইন্টারঅ্যাকশন অপ্টিমাইজেশন: ফোন, ট্যাবলেট এবং PC উইন্ডোর সাথে খাপ খাইয়ে নেওয়া, অফলাইন ম্যান্ডারিন ভয়েস ইনপুট সাপোর্ট এবং উন্নত Markdown রেন্ডারিং (কোড ব্লক কপি, টেবিলসহ) প্রদান করে। এই প্রজেক্টটি "HarmonyOS + Local AI" সলিউশন এক্সপ্লোর করা ডেভেলপারদের জন্য একটি যাচাইযোগ্য ইঞ্জিনিয়ারিং বেসলাইন প্রদান করে।