প্রকল্প সম্পর্কে

llm-local হলো লোকাল Large Language Models (LLMs)-এর জন্য একটি হালকা ওজনের অ্যাবস্ট্রাকশন লেয়ার। এটি বিভিন্ন লোকাল মডেল প্রোভাইডারের সাথে ইন্টারঅ্যাক্ট করার জন্য একটি ইউনিফাইড API এবং একটি কমান্ড-লাইন ইন্টারফেস (CLI) প্রদান করে, যা বিভিন্ন ব্যাকএন্ডের মধ্যে স্যুইচ করার প্রক্রিয়াটিকে সহজ করে তোলে। এর মূল সক্ষমতাগুলোর মধ্যে রয়েছে: - ইউনিফাইড API: বিভিন্ন প্রোভাইডারের মাধ্যমে টেক্সট জেনারেট এবং স্ট্রিমিং রেসপন্স করার জন্য একটি সামঞ্জস্যপূর্ণ ইন্টারফেস। - প্রোভাইডার ডিসকভারি: উপলব্ধ লোকাল প্রোভাইডার এবং তাদের মডেলগুলোর স্বয়ংক্রিয় অনুসন্ধান এবং তালিকাভুক্তি। - CLI টুল: একটি প্রস্তুত `llm` কমান্ড যা মাল্টি-টার্ন কনভারসেশন হিস্ট্রি এবং একটি টগলযোগ্য 'think' মোড সমর্থন করে। - সমর্থিত প্রোভাইডার: Ollama ( `/api/chat`-এর মাধ্যমে) এবং LM Studio ( `/api/v1/chat`-এর মাধ্যমে)-এর জন্য আউট-অফ-দ্য-বক্স সাপোর্ট, সাথে কাস্টম প্রোভাইডার ইনস্ট্যান্স রেজিস্টার করার ক্ষমতা। - ফ্লেক্সিবল ইন্টিগ্রেশন: এটি একটি গ্লোবাল CLI টুল হিসেবে অথবা TypeScript/JavaScript প্রজেক্টে একটি ডিপেন্ডেন্সি হিসেবে ইনস্টল করা যেতে পারে।