オープンソース。新しい可能性。

SGLangは、低遅延かつ高スループットな推論を実現するために設計された、大規模言語モデル（LLM）およびマルチモーダルモデル向けの高性能サービングフレームワークです。

labml.aiは60以上のPyTorch実装を公開しており、各論文・アルゴリズムに解説を付した教育コンテンツ。Transformer、拡散モデル、GAN、強化学習、オプティマイザ、アーキテクチャなどをカバー。

PlanckGPTは、一般消費者向けノートPCでゼロから学習できる約5.4億パラメータの小型GPT言語モデルです。Fineweb-eduで事前学習し、チャット微調整も可能です。

vLLMは、大規模言語モデル（LLM）の推論とサービング向けに設計された、高スループットでメモリ効率の高いライブラリです。

OpenAIのWhisper自動音声認識（ASR）モデルを軽量かつクロスプラットフォームで展開するために設計された、高性能なC/C++実装です。

PaddleSegは飛桨エコシステムにおけるエンドツーエンドの画像セグメンテーション開発キットで、45以上のモデルアルゴリズムと140以上の事前学習モデルを内蔵し、セマンティックセグメンテーション、インタラクティブセグメンテーション、パノラマセグメンテーション、画像マッティング、3D医療セグメンテーションをカバーし、設定駆動とAPI呼び出しをサポートし、データ注釈から訓練、圧縮、デプロイまでの全プロセスを貫通します。

CTranslate2を使用したOpenAIのWhisperモデルの高速な再実装であり、文字起こし速度の向上とメモリ使用量の削減を実現します。

Hugging Face Transformersは、テキスト、ビジョン、オーディオ、マルチモーダルタスクに対応した機械学習用モデル定義フレームワークです。100万以上の学習済みチェックポイントを備え、推論と学習のための統一APIを提供します。