オープンソース。新しい可能性。

vLLMは、大規模言語モデル（LLM）の推論とサービング向けに設計された、高スループットでメモリ効率の高いライブラリです。

Mithrilは、Gemini、OpenAI、Anthropic、Groq、ローカルGGUFモデルを単一のOllama互換APIの背後で統合するマルチモデルオーケストレーションエンジンです。YAMLでマルチエージェントチームを構成でき、24の組み込みツール、Dockerサポート、MCP統合を備えています。

OpenAIのWhisper自動音声認識（ASR）モデルを軽量かつクロスプラットフォームで展開するために設計された、高性能なC/C++実装です。

Oumiは基盤モデルのライフサイクル全体を扱うApache-2.0のオープンソースプラットフォームです。データ準備、SFT・LoRA・QLoRA・GRPOなどの学習と微調整、評価、LLM-as-a-Judgeによるデータ合成、vLLM/SGLangでのデプロイ、CLIとクラウドジョブ起動を提供します。

Xinferenceは、言語・音声・マルチモーダルモデルの提供に対応した統合推論ライブラリです。OpenAI互換RESTful API、異種GPU/CPU活用、分散配置を提供し、LangChain、LlamaIndex、Dify、Chatboxと連携します。

CTranslate2を使用したOpenAIのWhisperモデルの高速な再実装であり、文字起こし速度の向上とメモリ使用量の削減を実現します。

DeepSpeedは、大規模モデルのトレーニングと推論を簡単、効率的、かつ効果的に行うために設計されたディープラーニング最適化ライブラリです。

RunAnywhereは、スマートフォン、ブラウザ、デスクトップ、サーバーにわたって、AIモデルを完全にオンデバイスで実行するためのクロスプラットフォームSDKスイートです。LLM、ビジョン、音声、ボイスエージェント、RAG、エンベディング、画像生成を単一のセマンティックAPIでサポートします。

SGLangは、低遅延かつ高スループットな推論を実現するために設計された、大規模言語モデル（LLM）およびマルチモーダルモデル向けの高性能サービングフレームワークです。

jetson-inferenceは、NVIDIA Jetson向けのC++およびPythonのディープビジョンライブラリです。TensorRTでオンデバイス推論、PyTorchで学習を行い、分類、検出、セグメンテーション、ポーズ、行動、深度、カメラストリーミングの例、事前学習済みモデル、チュートリアルを提供します。

MediaPipeは、Googleのクロスプラットフォームフレームワークであり、ライブおよびストリーミングメディア向けのオンデバイス機械学習ソリューション群です。Android、iOS、Web、デスクトップ、エッジデバイスで、視覚、テキスト、音声タスクをカバーします。

YOLOv5は、物体検出・-instance分割・画像分類に対応したPyTorchベースの高速・高精度なコンピュータビジョンフレームワークです。カスタムデータセットでの学習、多様なソースからの推論、ONNX/TensorRT/CoreMLへのモデルエクスポートをサポートします。

Colossal-AIはHPC-AI Techが提供するオープンソースの分散ディープラーニングフレームワークで、並列トレーニング戦略、メモリ管理、推論加速機能により大規模AIモデルのコスト削減と効率化を実現する。