প্রকল্প সম্পর্কে

Lociant হলো একটি Android-নেটিভ লোকাল AI রানটাইম, যা কম-শক্তি, সর্বদা-চালু এজ ডিভাইস—যেমন Android ফোন, Rockchip বোর্ড এবং ছোট Linux সিস্টেম—কে নিয়ন্ত্রিত এজ নোডে পরিণত করার জন্য ডিজাইন করা হয়েছে। এটি লোকাল মডেল এক্সিকিউশন, হার্ডওয়্যার-সমর্থিত ডিভাইস সক্ষমতা এবং প্রমাণীকৃত LAN সংযোগ সক্ষম করে, একই সঙ্গে এক্সিকিউশন ও নীতি ক্লাউডের বদলে ডিভাইসেই রাখে। প্রকল্পটি GGUF মডেল আমদানি এবং llama.cpp-এর মাধ্যমে স্থানীয়ভাবে ইনফারেন্স চালানো সমর্থন করে। ডিভাইস সক্ষমতার মধ্যে রয়েছে স্ক্রিন নিয়ন্ত্রণ, অ্যাক্সেসিবিলিটি বৈশিষ্ট্য, ক্যামেরা অ্যাক্সেস, সেন্সর, ফাইল অপারেশন এবং অনুমতি থাকলে প্রসেস ব্যবস্থাপনা। বহিঃস্থ ক্লায়েন্টরা MCP Streamable HTTP বা পোর্ট 11434-এ পরিবেশন করা একটি কন্ট্রোল API-এর মাধ্যমে সংযোগ করতে পারে। সমর্থিত ডিভাইস ভূমিকা: - Android ফোন: Flutter কনসোল, Rust ব্যাকএন্ড এবং Kotlin ডিভাইস লেয়ারসহ সম্পূর্ণ এজ নোড - Rockchip বোর্ড: Rust সার্ভিস, RKLLM NPU রানটাইম এবং টার্মিনাল TUI-সহ হেডলেস এজ নোড - Linux ডেস্কটপ: গ্রাফিক্যাল কন্ট্রোলার এবং ডেেলপমেন্ট হোস্ট আর্কিটেকচারটি মডেল ইনভেন্টরি, টুল রেজিস্ট্রি, পিয়ার নেটওয়ার্কিং এবং নীতি প্রয়োগের জন্য একটি শেয়ারড Rust ব্যাকএন্ড ব্যবহার করে। GGUF ইনফারেন্স একটি লোকাল llama.cpp প্রসেস হিসেবে চলে, Android-এ NCNN ক্যামেরা ও ভিশন অপারেশন সামলায়, এবং সমর্থিত Rockchip বোর্ডে RKLLM ব্যবহৃত হয়। টুল উন্মোচন একটি ক্রমবর্ধমান অনুমতি মডেল (read, sensor, action) অনুসরণ করে, এবং প্রতিটি টুলের একটি remoteAllowed নীতি থাকে যা এক্সিকিউশনের আগে যাচাই করা হয়। রানটাইম কোনো চ্যাট UI বা সাধারণ-উদ্দেশ্য এজেন্ট লুপ প্রদান করে না; বরং এটি একটি নিয়ন্ত্রিত সক্ষমতা স্তর হিসেবে কাজ করে যা ক্লাউড বা ডেস্কটপ ক্লায়েন্টরা অর্কেস্ট্রেট করতে পারে। বিল্ড ও রান করার বিস্তারিত রিপোজিটরির apps ডিরেক্টরিতে পাওয়া যায়, যেখানে Flutter UI, Rust ব্যাকএন্ড এবং Android ডিভাইস লেয়ারের জন্য আলাদা কম্পোনেন্ট রয়েছে।