প্রকল্প সম্পর্কে

নিডল হলো একটি বিশেষায়িত ফাউন্ডেশন মডেল আর্কিটেকচার যা মাইক্রোকন্ট্রোলার, রোবট, স্মার্ট হোম হার্ডওয়্যার এবং মোবাইল প্ল্যাটফর্মসহ ছোট ডিভাইসে ডিপ্লয়ের জন্য ডিজাইন করা হয়েছে। মডেলটি একটি 'ল্যাডারড সিম্পল অ্যাটেনশন নেটওয়ার্ক' আর্কিটেকচার ব্যবহার করে, যা এটিকে মাত্র ৮-২৯ এমবি ফুটপ্রিন্টে কার্যকরভাবে কাজ করতে সক্ষম করে। এটি তিনটি প্রধান কাজের জন্য অপ্টিমাইজ করা হয়েছে: টুল কলিং, স্ট্রাকচার্ড ডেটা এক্সট্রাকশন এবং টেক্সট এমবেডিং। প্রধান বৈশিষ্ট্যগুলির মধ্যে রয়েছে: - টুল কলিং: মডেলটি প্রাকৃতিক ভাষার অনুরোধ পার্স করে সঠিক আর্গুমেন্টসহ নির্দিষ্ট ফাংশন ট্রিগার করতে পারে, এবং অসমর্থিত কোয়েরির জন্য অনুমানের বদলে খালি তালিকা ফেরত দেয়। - স্ট্রাকচার্ড এক্সট্রাকশন: অস্ট্রাকচার্ড টেক্সটকে টাইপড JSON ফিল্ডে রূপান্তর করে, যা ইনভয়েস, ফর্ম বা নোটিফিকেশন প্রসেসিংয়ের জন্য উপযোগী। - টেক্সট এমবেডিং: স্থানীয় সার্চ এবং রাউটিং কাজের জন্য ভেক্টর রিপ্রেজেন্টেশন প্রদান করে। - স্কেলেবিলিটি: আর্কিটেকচারটি গভীরতার একটি 'ল্যাডার' (২ থেকে ২০ স্তর) সমর্থন করে, যা ডেভেলপারদের তাদের নির্দিষ্ট হার্ডওয়্যার সীমাবদ্ধতার জন্য সর্বোত্তম মডেল আকার নির্বাচন করতে দেয়। - ফাইন-টিউনিং: ডোমেইন-নির্দিষ্ট কাজে পারফরম্যান্স উন্নত করতে স্থানীয় LoRA-ভিত্তিক ফাইন-টিউনিং এবং প্ল্যাটফর্ম-ভিত্তিক সম্পূর্ণ-মডেল ফাইন-টিউনিং উভয়ই সমর্থন করে। - ডিপ্লয়মেন্ট: macOS, Linux এবং WASI সহ বিভিন্ন প্ল্যাটফর্মের জন্য একটি হালকা ইঞ্জিন (১ এমবির কম) অন্তর্ভুক্ত, যা এয়ার-গ্যাপড এনভায়রনমেন্টের জন্য সমর্থন প্রদান করে।