このプロジェクトについて

NobodyWhoは、大規模言語モデル（LLM）を任意のデバイス上でローカルかつ効率的に実行できる推論エンジンです。Gemma、Qwen、Mistralなど、GGUF形式の任意のチャットLLMを、VulkanまたはMetalによるGPUアクセラレーションを使用して実行できます。主な機能には、自動生成された構造化グラマーによる高速で型安全なツール呼び出し、マルチモーダル入力（画像と音声）、テキスト読み上げ、音声認識、音声アクティビティ検出が含まれます。モデルはHugging Faceまたは任意のURLから直接ダウンロードできます。このエンジンはRustで構築されており、Kotlin、Swift、React Native/Expo、Flutter、Python、Godot向けのバインディングを提供し、OpenAI Chat Completions APIを実装した実験的なローカルサーバーも備えています。デスクトップ（Linux、macOS、Windows）、Android、iOS、visionOS、watchOSで動作し、メモリ要件はデスクトップでモデルファイルサイズの約1.5倍、モバイルで2倍です。このプロジェクトはEUPL-1.2ライセンスの下で公開されており、プロプライエタリおよび商用プロジェクトでの使用が許可されています。