オープンソース。新しい可能性。

PowerInferは、アクティベーションの局所性を利用して、頻繁に使用される「ホット」ニューロンをGPUに保持し、入力依存の「コールド」ニューロンをCPUで計算するローカルLLM推論エンジンです。ハイブリッドまたはCPUのみの推論、サーバー機能、バッチ処理、パープレキシティ評価、INT4量子化、PowerInfer GGUFモデルをサポートしています。

YuE2は、記号的な計画と音声合成を統合したオープンな音楽生成モデルです。歌詞とスタイルプロンプトから編集可能なメロディ・コード譜を生成し、その後ボーカルと伴奏を含む完全な楽曲としてレンダリングします。ゼロショットカバーやエージェントによる譜面編集にも対応しています。

vLLMは、大規模言語モデル（LLM）の推論とサービング向けに設計された、高スループットでメモリ効率の高いライブラリです。

Repomixは、リポジトリ全体を単一のAIフレンドリーなファイル（XML、Markdown、JSON、またはプレーンテキスト）にパックし、Claude、ChatGPT、GeminiなどのLLMにコードベースを供給します。トークンカウント、セキュリティチェック、コード圧縮、リモートリポジトリサポートを提供します。

オープンソースの中国語LLaMA・Alpaca大規模言語モデルプロジェクト。元のLLaMAに中国語語彙を追加し再事前学習を行い、命令調整モデル、LoRA重み、学習・量子化・デプロイスクリプトを提供。ローカルCPU/GPUでの実行に対応。

Unslothは、Windows、macOS、Linuxで大規模言語モデル（LLM）や拡散モデルをローカルに実行およびトレーニングするためのデスクトップアプリケーションおよびフレームワークです。

LocalAIは、CPU専用を含むあらゆるハードウェアでLLM、ビジョン、音声、画像、ビデオモデルを実行するオープンソースのセルフホスト型AIエンジンです。OpenAI、Anthropic、ElevenLabs互換のAPI、オンデマンドのモジュラーバックエンド、マルチユーザー認証、RAGとMCPを備えた組み込みエージェントを提供します。

Oumiは基盤モデルのライフサイクル全体を扱うApache-2.0のオープンソースプラットフォームです。データ準備、SFT・LoRA・QLoRA・GRPOなどの学習と微調整、評価、LLM-as-a-Judgeによるデータ合成、vLLM/SGLangでのデプロイ、CLIとクラウドジョブ起動を提供します。

UL-SMFは、長文脈Transformer推論向けKVキャッシュ圧縮フレームワークであり、FSQと16次元潜在マッピングにより最大384倍の圧縮を主張しています。中核の圧縮ロジックは、プロプライエタリなクローズドソースバイナリを必要とします。

LlamaFactoryは100以上の大規模言語モデルとマルチモーダルモデルの効率的なファインチューニングを可能にするPythonフレームワークで、ゼロコードCLI、Gradio Web UI、LoRA/QLoRA、複数の学習アルゴリズムを提供します。

AstrBotは、LLMとエージェントフレームワークをQQ、Telegram、Slack、Feishuなどの主要インスタントメッセージングアプリに接続するオープンソースの統合型エージェントチャットボットプラットフォームで、プラグイン拡張機能、WebUI、サンドボックス実行を備えています。

Langchain-Chatchat は、Langchain と ChatGLM、Qwen、Llama などの大規模モデルに基づくオープンソースのオフライン RAG および Agent アプリケーションであり、ローカル知識ベースの Q&A、マルチモデル推論フレームワークの統合、WebUI と API サービスをサポートします。

Ollamaは、macOS、Windows、Linux上でオープンソースの大規模言語モデルをローカルに実行、管理し、それらを利用した構築を可能にするツールです。

AI駆動のコマンドライン生産性ツール。シェルコマンド、コードスニペット、ドキュメントを生成し、チャット/REPLモード、カスタムロール、関数呼び出しをサポート。Linux、macOS、Windowsに対応。

SGLangは、低遅延かつ高スループットな推論を実現するために設計された、大規模言語モデル（LLM）およびマルチモーダルモデル向けの高性能サービングフレームワークです。

PocketRisuは、RisuAIからフォークされた自己ホスト型AIロールプレイチャットプラットフォームで、PC、タブレット、スマートフォンからウェブブラウザを介してアクセス可能な個人サーバーを実行できます。

Aiderは、開発者がLLMと連携して新しいプロジェクトを構築したり、既存のコードベースを修正したりできるターミナルベースのAIペアプログラミングツールです。