প্রকল্প সম্পর্কে

llmwiki (npm প্যাকেজ llm-wiki-compiler) একটি কমান্ড-লাইন নলেজ কম্পাইলার যা কাঁচা সোর্স উপাদানকে সাইটেশন, মেটাডেটা ও রিভিউ অবস্থাসহ আন্তঃসংযুক্ত markdown উইকিতে রূপান্তর করে। এটি Andrej Karpathy-র LLM Wiki প্যাটার্নের একটি বাস্তব বাস্তবায়ন: কোয়েরি সময়ে কাঁচা চাঙ্ক রিট্রিভ করার বদলে এটি জ্ঞানকে একবারই টেকসই পেজে কম্পাইল করে, যা কাঠামো ও উৎস-ইতিহাস সঞ্চয় করে। এটি কী করে একটি দুই-পর্যায়ের LLM পাইপলাইন সোর্স থেকে ধারণা নিষ্কাশন করে এবং তারপর concept, entity, comparison ও overview-এর মতো টাইপড পেজ তৈরি করে। অনুচ্ছেদ ও দাবিগুলো সোর্স ফাইল ও লাইন রেঞ্জ উদ্ধৃত করে, এবং একটি lint কমান্ড সেই লিংকগুলো যাচাই করে। ডিফল্ট প্রোফাইল একটি concepts-and-queries লেআউট সংরক্ষণ করে; ঐচ্ছিক প্রোফাইলগুলো কম্পাইলার নিজেই শাখাবিভক্ত না করে ডোমেইন-নির্দিষ্ট টাইপ ও ওয়ার্কফ্লো যোগ করে। মূল সক্ষমতা - কনফিগারযোগ্য Lifecycle Profiles: একটি যাচাইকৃত .llmwiki/profile.json টাইপড এনটিটি, ফিল্ড, নির্দেশিত সম্পর্ক, লাইফসাইকল অবস্থা, ট্রানজিশন এভিডেন্স, ট্রাস্ট গেট, বহু-পর্যায়ের ওয়ার্কফ্লো, hash-pinned আর্টিফ্যাক্ট, কানেক্টর, কনটেন্ট টিয়ার ও রিট্রিভাল পলিসি ঘোষণা করে। নিয়মগুলো প্রম্পট কনভেনশন হিসেবে না রেখে রানটাইম দ্বারা প্রয়োগ করা হয়, এবং অবৈধ প্রোফাইল fail closed হয়। - ইনস্টলযোগ্য ডোমেইন টেমপ্লেট: autosci (papers, ideas, experiments, manuscripts, evidence artifacts, Crossref import) ও newsroom (articles, desks, bylines, editorial workflows)-এর মতো বিল্ট-ইন টেমপ্লেট। টেমপ্লেটে কনফিগারেশন ও উদাহরণ থাকে, এক্সিকিউটেবল প্লাগইন কোড নয়। স্বাক্ষরিত টেমপ্লেট ডিস্ট্রিবিউশনে Ed25519 সাইনিং, key rotation ও revocation ব্যবহৃত হয়, ডিসকভারির জন্য স্পষ্টভাবে বিশ্বস্ত taps সহ। - হাইব্রিড রিট্রিভাল: সেমান্টিক চাঙ্ক সার্চ, BM25 রির‍্যাঙ্কিং ও wikilink গ্রাফ এক্সপ্যানশন কোয়েরি ও এজেন্টের জন্য কম্প্যাক্ট এভিডেন্স প্যাক তৈরি করে। - লোকাল ভিউয়ার: সার্চ, পেজ মেটাডেটা, গ্রাফ এক্সপ্লোরেশন, সোর্স-ফ্রেশনেস ব্যাজ ও সাইটেশন চিপসহ একটি read-only ব্রাউজার UI। সংস্করণ ১.৩ চারটি থিম যোগ করে। - রিভিউ পলিসি: কনফিডেন্স, কনট্রাডিকশন, স্কিমা বা প্রোভেন্যান্স নিয়ম লঙ্ঘিত হলে জেনারেট করা পেজ ক্যান্ডিডেট হিসেবে ধরে রাখা যায়। - ফ্রেশনেস মেরামত: lint ও next পুরনো বা এতিম পেজ দেখায়; refresh --stale পরিবর্তিত জ্ঞান মেরামত করে, সম্পর্কহীন নতুন সোর্স কম্পাইল না করে। - Eval হারনেস: হেলথ স্কোর, প্রতি-পেজ হেলথ ডিস্ট্রিবিউশন, wikilink-গ্রাফ হেলথ, সাইটেশন কভারেজ ও প্রিসিশন, কর্পাস পরিসংখ্যান ও রিগ্রেশন ডেল্টা রিপোর্ট করে, সাইটেশন সাপোর্টের জন্য ঐচ্ছিক judge মডেলসহ। - MCP সার্ভার: MCP-সামঞ্জস্যপূর্ণ এজেন্টের কাছে ingest, compile, query, lint, read, status, eval, context-pack ও OKF exchange টুল উন্মোচন করে। - SDK: createWiki({ root }) TypeScript থেকে ingest, compile, query, context, status, export, eval ও OKF import/export চালায়। - Open Knowledge Format exchange: OKF বান্ডল এক্সপোর্ট ও ইমপোর্ট; বাহ্যিক ইমপোর্ট ডিফল্টভাবে রিভিউ কিউয়ের মাধ্যমে স্টেজ করা হয়, বিশ্বস্ত বান্ডল স্পষ্টভাবে live writable। - অন্যান্য এক্সপোর্ট: JSON, JSON-LD, GraphML, Marp slides ও llms.txt। - প্রোভাইডার পোর্টেবিলিটি: Anthropic, Claude Agent SDK local login, OpenAI Codex CLI local login, OpenAI-সামঞ্জস্যপূর্ণ সার্ভার, Ollama, GitHub Copilot, Atlas Cloud, OrcaRouter ও লোকাল OpenAI-সামঞ্জস্যপূর্ণ রানটাইম। প্রজেক্ট লেআউট একটি প্রজেক্ট কাঁচা ইনপুট sources/-এ, কম্পাইল করা markdown wiki/-এ (concepts, queries, প্রোফাইল-ঘোষিত টাইপড পেজ, graph stores, outputs, জেনারেট করা index), এবং কম্পাইলার স্টেট .llmwiki/-এর অধীনে (profile, config, schema, state, candidates, workflows, eval history) রাখে। আর্টিফ্যাক্ট হলো hash-pinned ফাইল ও ম্যানিফেস্ট; log.md একটি অ্যাক্টিভিটি জার্নাল। গুণমান ও নিরাপত্তা মডেল প্রজেক্টটি অডিটযোগ্য জেনারেট করা জ্ঞানের উপর জোর দেয়: review-before-write পলিসি, রানটাইম-প্রয়োগকৃত প্রোফাইল ফ্লোর, অবিশ্বস্ত বাহ্যিক কানেক্টর ডেটা fenced রিভিউ ক্যান্ডিডেট হিসেবে স্টেজিং, path-confined ও hash-verified আর্টিফ্যাক্ট, fail-closed কনফিগারেশন, সোর্স কনফাইনমেন্ট, স্পষ্ট ফ্রেশনেস অবস্থা, এবং lint ও eval-এর মাধ্যমে CI কোয়ালিটি গেট। স্কেল নোট ইনক্রিমেন্টাল কম্পাইলেশন অপরিবর্তিত সোর্স এড়িয়ে যায়, প্যারালাল কম্পাইল কনফিগারযোগ্য concurrency ক্যাপের অধীনে extraction ও generation চালায়, চাঙ্ক-লেভেল এমবেডিং রির‍্যাঙ্কিংয়ের আগে বড় উইকি সংকুচিত করে, content-hash-aware এমবেডিং আপডেট পুনঃগণনা এড়ায়, batch embedding লেটেন্সি কমায়, বাইনারি এমবেডিং স্টোরেজ 64 MiB JSON সীমার উপরের স্টোর সামলায়, এবং লেক্সিক্যাল ফলব্যাক প্রোভাইডারে এমবেডিং এন্ডপয়েন্ট না থাকলে কোয়েরি ও কনটেক্সট ওয়ার্কফ্লো ব্যবহারযোগ্য রাখে। প্রয়োজনীয়তা ও ব্যবহার Node.js 24 বা নতুনতর প্রয়োজন। সাধারণ ব্যবহার হলো npm install -g llm-wiki-compiler, একটি প্রোভাইডার API key সেট করা, তারপর একটি ফাইল বা URL-এ quickstart চালানো, কম্পাইল করা উইকি কোয়েরি করা এবং ভিউয়ার খোলা। README উল্লেখ করে টুলটি টেকসই প্রজেক্ট বা ডোমেইন উইকির (research folders, codebase docs, team handbooks, standards, decision logs) জন্য উপযুক্ত এবং উচ্চ-পরিবর্তনশীল কাঁচা লগের জন্য কম আদর্শ যেখানে সাধারণ সার্চই যথেষ্ট। এটিকে প্রাথমিক সফটওয়্যার হিসেবে বর্ণনা করা হয়েছে।