ods

ODS（Osmantic Deployment System）は、十数のサービスを手作業で組み立てることなく、自分のハードウェア上でプライベートAIを実現したい人向けのセルフホスト型AIサーバースタックです。リポジトリは現在V3 Pre-Releaseの状態にあり、公式V3リリース前の公開テストと調整が行われています。再現性のために固定されたソーススナップショット（v3.0.0）も提供されています。READMEには、フリート全体の認定は未完了であると記載されており、既知の制限と残っているゲートについてはリリースノートとプロモーション記録を参照するよう案内しています。 同梱されるもの ODSは、本来個別に設定する必要があるコンポーネントをインストールして連携させます。記載されている構成要素は以下のとおりです。 - llama-serverによるローカルモデル推論。ハードウェアに基づくモデル選択に対応。 - ChatGPT風のブラウザチャットインターフェースとしてのOpen WebUI。 - モデル、サービス、セットアップ、GPUステータス、拡張機能のためのコントロールダッシュボード。およびダッシュボードAPI。 - ローカル、クラウド、ハイブリッドモードをサポートするAPIゲートウェイとしてのLiteLLM。 - RAGおよび検索ワークフロー向けのTEI埋め込み。 - 音声：音声認識用のWhisperと音声合成用のKokoro。 - エージェントと自動化：Portal（認定されたmacOS/Ubuntu/Debianのsystemdホスト上で動作する同梱の会話アシスタント）、Hermes Agent、非推奨のOpenClawエージェント、n8nワークフロー自動化、APE（Agent Policy Engine）、OpenCode、Memory Shepherd。 - ナレッジと検索：Qdrantベクトルデータベース、SearXNGセルフホスト検索、Perplexica、オプションのBrave Search API連携。 - クリエイティブ：ノードベースの画像生成用ComfyUI。 - プライバシーと運用：Privacy Shield PIIスクラビングプロキシ、Token Spy使用状況モニタリング、オプションのLangfuseオブザーバビリティ。 インストールとプラットフォーム インストールは、Linux/macOSではホストされたスクリプトによる1コマンド、WindowsではソースZIPをダウンロードしてWindowsインストーラーを実行するPowerShellブロックです。Dockerがインストールされ実行中である必要があります。WindowsではWSL2バックエンドのDocker Desktopと、管理者以外のPowerShellセッションが必要です。インストール後、Web UIはlocalhost:3000で利用できます。アンインストールコマンドはプラットフォームごとに提供されています。 READMEに記載されているサポート対象プラットフォーム：Linux（NVIDIAおよびAMD Strix Halo）、Windows（NVIDIAおよびAMD）、macOS Apple Silicon。SYCL経由のIntel Arcを搭載したLinuxは実験的/Tier Cとされています。テスト済みディストリビューションには、Ubuntu、Debian、Linux Mint、Fedora、Rocky Linux、Arch、Manjaro、CachyOS、openSUSE Tumbleweedが含まれます。macOSはApple Siliconが必要で、llama-serverはMetalアクセラレーションを用いてネイティブに動作し、その他のサービスはDocker内で動作します。 ハードウェア検出とモデル インストーラーはGPUを検出し、ハードウェアティアを割り当て、メモリ容量に基づいてバージョン管理されたカタログ（model-library.json）からモデルを選択します。選択内容は.envにLLM_MODEL、GGUF_FILE、MAX_CONTEXT、MODEL_RECOMMENDATION_*変数として書き込まれます。MODEL_PROFILE=qwen、gemma4、autoなどのプロファイルは選択されるファミリーに影響し、ティア選択はインストール時に上書きできます。READMEにはNVIDIA、AMD Strix Halo、Apple Silicon、Intel Arcの容量帯に対するカタログ選択の例が記載されており、実際のインストールは異なる場合があり、スループットにはローカルベンチマークが必要であると注記されています。 ブートストラップモード デフォルトでは、ODSはまず小さな1.5Bモデルをダウンロードしてユーザーがすぐにチャットできるようにし、その後バックグラウンドでフルモデルをダウンロードしてホットスワップします。ブートストラップは--no-bootstrapでスキップできます。 モデル管理とCLI ods CLIは、ステータスとヘルスチェック、サービス一覧、ログ、再起動、開始/停止、ローカル/クラウド/ハイブリッドモード間の切り替え、モデルティアの交換、拡張機能の有効化/無効化、マスクされた設定の表示、プリセットの保存/読み込みをカバーします。新しいモデルの読み込みに失敗した場合、モデルのロールバックは自動的に行われると説明されています。 拡張性 すべてのサービスは拡張機能として扱われます。つまり、manifest.yamlとcompose.yamlを含むフォルダーであり、ダッシュボード、CLI、ヘルスチェック、composeスタックによって自動的に検出されます。インストーラー自体もモジュール式と説明されており、ライブラリモジュール、共有サービスレジストリ、順序付けられたフェーズを備えています。 位置づけ READMEは、ODSをOllama/llama.cpp、Open WebUI、n8n、プライバシーツールを手動でつなぎ合わせることを避ける手段として位置づけ、周囲のサーバースタック、インストーラー、コントロールプレーンを追加することでそれらのプロジェクトと比較しています。ローカルファーストの運用を強調しつつ、オプションのクラウドまたはハイブリッドAPIモードに対応し、ユーザーが選択しない限りプロンプトとデータはマシン上に留まると述べています。