オープンソース。新しい可能性。

Irisは、AIエージェントの実行を品質・安全性・コストの観点で評価するローカルファーストのMCPサーバーです。20の組み込み決定論的ルール、オプションのLLMジャッジ、Webダッシュボードを備え、アカウントやテレメトリなしでマシン上で完結します。

Oumiは基盤モデルのライフサイクル全体を扱うApache-2.0のオープンソースプラットフォームです。データ準備、SFT・LoRA・QLoRA・GRPOなどの学習と微調整、評価、LLM-as-a-Judgeによるデータ合成、vLLM/SGLangでのデプロイ、CLIとクラウドジョブ起動を提供します。

ブラジルのBNCC（国家共通教育課程）を対象としたLLMの幻覚オープンベンチマーク。19モデル・17,100回答を評価し、bncc.devによる grounding の効果を測定。