oumi

Oumi est une plateforme open source sous licence Apache-2.0 qui couvre le cycle de vie complet des modèles de fondation : préparation et curation des données, entraînement et affinage, évaluation et déploiement. Elle est distribuée sous forme de paquet Python (`oumi`) avec une interface en ligne de commande et une collection de recettes YAML prêtes à l'emploi. Capacités principales décrites dans le README : - Entraînement et affinage de modèles d'environ 10M à 405B paramètres, à l'aide de techniques telles que l'affinage complet, LoRA, QLoRA, SFT, l'ajustement aux préférences (DPO/KTO) et l'apprentissage par renforcement GRPO. Des notes récentes mentionnent l'extension de GRPO à l'utilisation d'outils et l'ajout d'outils, d'environnements (simulés, de recherche, de base de données) et de synthèse de données agentiques. - Prise en charge de modèles textuels et multimodaux (vision-langage), avec des recettes d'exemple pour Qwen, DeepSeek R1, Llama, Falcon, Gemma, OLMo, Phi, InternVL et d'autres. - Synthèse et curation de données à l'aide de flux de travail LLM-as-a-Judge, incluant une API de juge et la gestion des défaillances partielles à travers l'inférence, le jugement et la synthèse de données. - Évaluation sur des benchmarks standards via la commande `oumi evaluate` et des recettes d'évaluation. - Inférence et déploiement avec des moteurs tels que vLLM et SGLang, plus une commande `oumi deploy` pour des points de terminaison d'inférence dédiés chez des fournisseurs comme fireworks.ai et parasail. - Lancement de tâches distantes sur des plateformes cloud (AWS, Azure, GCP, Lambda) via `oumi launch up`, avec des substitutions de ressources/cloud. - Intégration avec des modèles à poids ouverts et des API commerciales (OpenAI, Anthropic, Vertex AI, Together, Parasail), incluant la prise en charge des API par lots. - Prise en charge de l'entraînement distribué (FSDP, DeepSpeed, DDP) et de la quantification de modèles (AWQ) mentionnée dans les notes de version. - Un serveur MCP `oumi-mcp` pour l'intégration avec des outils tels que Claude et Cursor. Les options d'installation incluent pip/uv (`oumi`, `oumi[gpu]`), une image Docker et un script d'installation expérimental. L'utilisation typique de la CLI est `oumi train -c <config>`, `oumi evaluate -c <config>` et `oumi infer -c <config> --interactive`. Le projet indique qu'il est en version bêta avec des fonctionnalités de base stables, et renvoie vers la documentation, des guides de démarrage rapide et des notebooks (Colab) pour des visites guidées, l'affinage, la distillation, l'évaluation, l'entraînement distant et le jugement. Le README met l'accent sur des recettes sans code répétitif, la reproductibilité pour la recherche, une large prise en charge des modèles et une approche entièrement open source, orientée communauté, sans dépendance à un fournisseur.