ods

ODS (Osmantic Deployment System) একটি সেলফ-হোস্টেড AI সার্ভার স্ট্যাক, যা তাদের জন্য তৈরি যারা নিজস্ব হার্ডওয়্যারে ব্যক্তিগত AI চান, একাধিক সার্ভিস হাতে জোড়া না দিয়ে। রিপোজিটরিটি বর্তমানে V3 প্রি-রিলিজ অবস্থায় রয়েছে: অফিসিয়াল V3 লঞ্চের আগে পাবলিক টেস্টিং এবং পরিমার্জন চলছে, সাথে পুনরুৎপাদনের জন্য একটি পিন করা সোর্স স্ন্যাপশট (v3.0.0) দেওয়া হয়েছে। README-তে বলা হয়েছে যে সম্পূর্ণ ফ্লিট যোগ্যতা অসম্পূর্ণ, এবং পরিচিত সীমাবদ্ধতা ও অবশিষ্ট গেটগুলির জন্য রিলিজ নোট এবং একটি প্রচার রেকর্ডের দিকে নির্দেশ করা হয়েছে। এতে কী অন্তর্ভুক্ত ODS এমন উপাদানগুলি ইনস্টল ও সংযুক্ত করে যা অন্যথায় আলাদাভাবে কনফিগার করতে হতো। নথিভুক্ত অংশগুলির মধ্যে রয়েছে: - llama-server-এর মাধ্যমে স্থানীয় মডেল ইনফারেন্স, হার্ডওয়্যার-ভিত্তিক মডেল নির্বাচন সহ। - ChatGPT-স্টাইল ব্রাউজার চ্যাট ইন্টারফেস হিসেবে Open WebUI। - মডেল, সার্ভিস, সেটআপ, GPU অবস্থা এবং এক্সটেনশনের জন্য একটি কন্ট্রোল ড্যাশবোর্ড, সাথে একটি ড্যাশবোর্ড API। - স্থানীয়, ক্লাউড এবং হাইব্রিড মোড সমর্থনকারী API গেটওয়ে হিসেবে LiteLLM। - RAG এবং সার্চ ওয়ার্কফ্লোর জন্য TEI এমবেডিং। - ভয়েস: স্পিচ-টু-টেক্সটের জন্য Whisper এবং টেক্সট-টু-স্পিচের জন্য Kokoro। - এজেন্ট এবং অটোমেশন: Portal (যোগ্য macOS/Ubuntu/Debian systemd হোস্টে একটি বান্ডেলড কথোপকথন সহায়ক), Hermes Agent, অবচিত OpenClaw এজেন্ট, n8n ওয়ার্কফ্লো অটোমেশন, APE (Agent Policy Engine), OpenCode এবং Memory Shepherd। - জ্ঞান এবং সার্চ: Qdrant ভেক্টর ডেটাবেস, SearXNG সেলফ-হোস্টেড সার্চ, Perplexica এবং ঐচ্ছিক Brave Search API ইন্টিগ্রেশন। - ক্রিয়েটিভ: নোড-ভিত্তিক ইমেজ জেনারেশনের জন্য ComfyUI। - গোপনীয়তা এবং অপস: Privacy Shield PII স্ক্রাবিং প্রক্সি, Token Spy ব্যবহার পর্যবেক্ষণ এবং ঐচ্ছিক Langfuse অবজারভেবিলিটি। ইনস্টলেশন এবং প্ল্যাটফর্ম Linux/macOS-এ একটি হোস্টেড স্ক্রিপ্টের মাধ্যমে এক কমান্ডে ইনস্টলেশন সম্পন্ন হয়, এবং Windows-এ একটি PowerShell ব্লক যা সোর্স ZIP ডাউনলোড করে Windows ইনস্টলার চালায়। Docker ইনস্টল এবং চলমান থাকতে হবে; Windows-এ WSL2 ব্যাকএন্ড সহ Docker Desktop এবং একটি নন-অ্যাডমিনিস্ট্রেটর PowerShell সেশন প্রয়োজন। ইনস্টলের পরে, ওয়েব UI localhost:3000-এ থাকে। প্রতিটি প্ল্যাটফর্মের জন্য আনইনস্টল কমান্ড দেওয়া আছে। README অনুযায়ী সমর্থিত প্ল্যাটফর্ম: Linux (NVIDIA এবং AMD Strix Halo), Windows (NVIDIA এবং AMD) এবং macOS Apple Silicon। SYCL-এর মাধ্যমে Intel Arc সহ Linux পরীক্ষামূলক/Tier C হিসেবে চিহ্নিত। পরীক্ষিত ডিস্ট্রোগুলির মধ্যে রয়েছে Ubuntu, Debian, Linux Mint, Fedora, Rocky Linux, Arch, Manjaro, CachyOS এবং openSUSE Tumbleweed। macOS-এ Apple Silicon প্রয়োজন এবং llama-server নেটিভভাবে Metal অ্যাক্সিলারেশন সহ চলে, অন্য সার্ভিসগুলি Docker-এ চলে। হার্ডওয়্যার সনাক্তকরণ এবং মডেল ইনস্টলার GPU সনাক্ত করে, একটি হার্ডওয়্যার টিয়ার নির্ধারণ করে এবং মেমরি এনভেলপের ভিত্তিতে একটি সংস্করণযুক্ত ক্যাটালগ (model-library.json) থেকে একটি মডেল নির্বাচন করে। পছন্দটি .env-এ LLM_MODEL, GGUF_FILE, MAX_CONTEXT এবং MODEL_RECOMMENDATION_* ভেরিয়েবল হিসেবে লেখা হয়। MODEL_PROFILE=qwen, gemma4, বা auto-এর মতো প্রোফাইল নির্বাচিত পরিবারকে প্রভাবিত করে, এবং ইনস্টলের সময় টিয়ার নির্বাচন ওভাররাইড করা যায়। README-তে NVIDIA, AMD Strix Halo, Apple Silicon এবং Intel Arc এনভেলপের জন্য উদাহরণ ক্যাটালগ পছন্দ তালিকাভুক্ত করা হয়েছে, উল্লেখ করে যে সঠিক ইনস্টল ভিন্ন হতে পারে এবং থ্রুপুটের জন্য স্থানীয় বেঞ্চমার্ক প্রয়োজন। বুটস্ট্র্যাপ মোড ডিফল্টভাবে ODS প্রথমে একটি ছোট 1.5B মডেল ডাউনলোড করে যাতে ব্যবহারকারীরা দ্রুত চ্যাট করতে পারেন, তারপর পটভূমিতে সম্পূর্ণ মডেল ডাউনলোড করে এবং এতে হট-সোয়াপ করে। --no-bootstrap দিয়ে বুটস্ট্র্যাপ এড়ানো যায়। মডেল ব্যবস্থাপনা এবং CLI ods CLI স্ট্যাটাস এবং হেলথ চেক, সার্ভিস তালিকা, লগ, রিস্টার্ট, স্টার্ট/স্টপ, স্থানীয়/ক্লাউড/হাইব্রিড মোডের মধ্যে স্যুইচিং, মডেল টিয়ার সোয়াপ, এক্সটেনশন সক্ষম বা অক্ষম করা, মাস্কড কনফিগারেশন দেখা এবং প্রিসেট সংরক্ষণ বা লোড করা কভার করে। নতুন মডেল লোড করতে ব্যর্থ হলে মডেল রোলব্যাক স্বয়ংক্রিয় হিসেবে বর্ণনা করা হয়েছে। এক্সটেনসিবিলিটি প্রতিটি সার্ভিসকে একটি এক্সটেনশন হিসেবে বিবেচনা করা হয়: manifest.yaml এবং compose.yaml ধারণকারী একটি ফোল্ডার, যা ড্যাশবোর্ড, CLI, হেলথ চেক এবং কম্পোজ স্ট্যাক দ্বারা স্বয়ংক্রিয়ভাবে আবিষ্কৃত হয়। ইনস্টলারটি নিজেই মডুলার হিসেবে বর্ণিত, লাইব্রেরি মডিউল, একটি শেয়ার্ড সার্ভিস রেজিস্ট্রি এবং ক্রমযুক্ত ফেজ সহ। অবস্থান README ODS-কে Ollama/llama.cpp, Open WebUI, n8n এবং গোপনীয়তা সরঞ্জামগুলি ম্যানুয়ালি একত্রিত করার বিকল্প হিসেবে ফ্রেম করে, এবং এই প্রকল্পগুলির সাথে তুলনা করে একটি চারপাশের সার্ভার স্ট্যাক, ইনস্টলার এবং কন্ট্রোল প্লেন যোগ করে। এটি স্থানীয়-প্রথম অপারেশনের উপর জোর দেয়, ঐচ্ছিক ক্লাউড বা হাইব্রিড API মোড সহ, এবং বলে যে ব্যবহারকারী অন্যথায় নির্বাচন না করলে প্রম্পট এবং ডেটা মেশিনে থাকে।