প্রকল্প সম্পর্কে

RunAnywhere একটি একক C++ কোর উপর ভিত্তি করে আটটি SDK (সুইফট, কোটলিন, ফ্লাটার, রিয়েক্ট ন্যাটিভ, ওয়েব, ইলেকট্রন, পাইথন এবং একটি CLI) প্রদান করে। এটি বিভিন্ন হার্ডওয়্যারে স্থানীয়, অফলাইন এআই ইনফারেন্স সক্ষম করে, প্রতিটি ডিভাইসে সর্বোত্তম উপলব্ধ ইঞ্জিনে কলগুলিকে পরিচালনা করে। **ক্ষমতা:** - টোকেন স্ট্রিমিং সহ এলএলএম চ্যাট, বহু-টার্ন ইতিহাস এবং লোরা অ্যাডাপ্টার (লাম্বা, কুয়েন, গেম্মা, ফিলি, ডিপসিক, ইত্যাদি) - ছবি বোঝার জন্য ভিজন ল্যাঙ্গুয়েজ মডেল (ভিএলএম) এবং ক্যামেরা প্রশ্ন-উত্তর - স্পিচ-টু-টেক্সট (উইচার, মুনশাইন) এবং টেক্সট-টু-স্পিচ (পাইপার, কোকোরো, মেলোটিএসএস) - ভয়েস এজেন্ট পাইপলাইন (ভিএডি + এসটিটি + এলএলএম + টিটিএস) - স্ট্রিমিং সহ স্থানীয় দস্তাবেজ আহরণ এবং এম্বেডিং এবং RAG - স্টেবল ডিফাসন (কোর এমএল) এবং ইনপেইন্টিং (হেক্সাগন এনপিইউ) দ্বারা ছবি জেনারেশন - সংগঠিত JSON আউটপুট এবং এজেন্ট লুপের সাথে টুল কলিং - কম্পিউটার-ব্যবহার অ্যাকশন পার্সার (সিইএ) **ইনফারেন্স ইঞ্জিন:** - QHexRT: কোয়ালকম হেক্সাগন এনপিইউ-এর জন্য রানওয়ানডের রানটাইম (ভি75/ভি79/ভি81), এলএলএম, ভিএলএম, স্পিচ এবং টিটিএস সরাসরি এনপিইউ-এ চালানো, মোই এবং 1-বিট মডেল সহ। - MLX: এলএলএম, ভিএলএম, এসটিটি, টিটিএস এবং এম্বেডিং জন্য আপল-নেটিভ ইনফারেন্স। - llama.cpp: মেটাল (আপল), কিউডিএসএ (এনভিডিএ, অপশনে), ওয়েবজিপি/ওয়াসম (ব্রাউজার), এবং সিপিইউ (নিয়োন/এভিএক্স) দ্বারা সব জায়গায় চলে। - sherpa + ONNX: সমস্ত প্ল্যাটফর্মে স্পিচ, ভিএডি এবং এম্বেডিং জন্য। - কোর এমএল: আইওএস/ম্যাকওএসে ডিফাসন-ভিত্তিক ছবি জেনারেশন জন্য। **অতিরিক্ত বৈশিষ্ট্য:** - পাইথন SDK এবং CLI দ্বারা ওপেনএআই-সম্পর্কিত সার্ভার মোড, চ্যাট পূর্ণতা, এম্বেডিং, অডিও ট্রান্সক্রিপশন/স্পিচ, এবং মডেলগুলির জন্য এন্ডপয়েন্ট প্রদান করে। - রানওয়ানডে কনসোল: ডিভাইস ফ্লিটগুলিতে মডেলগুলি ডেপ্লয় করার জন্য একটি কন্ট্রোল প্লেন এবং টেলিমেট্রি সংগ্রহ করে। - কানেক্ট (LAN): একটি বিশ্বস্ত স্থানীয় নেটওয়ার্কের মাধ্যমে ম্যাকওএস হোস্ট এআই মডেলটি আইওএস/অ্যান্ড্রয়েড ক্লায়েন্টদের সাথে শেয়ার করতে সক্ষম। - ক্ষমতা আবিষ্কার API (ক্ষমতা()) অ্যাপগুলির জন্য একটি সুযোগ প্রদান করে যে বর্তমান ডিভাইস এবং ইনস্টল করা ইঞ্জিনগুলি কী করতে পারে তা জানতে। SDK পর্যায় ভিন্ন: সুইফট, কোটলিন এবং আরসিএলআই স্থিতিশীল; ফ্লাটার, রিয়েক্ট ন্যাটিভ এবং ওয়েব বিটা পর্যায়ে; ইলেকট্রন প্রিভিউ পর্যায়ে; এবং পাইথন অ্যালফা পর্যায়ে।