lerobot-smolvla-lew

LeRobot est une bibliothèque open-source complète conçue pour abaisser la barrière à l'entrée pour la robotique dans le monde réel en fournissant des modèles, des jeux de données et des outils construits sur PyTorch. Elle sert d'interface unifiée pour contrôler diverses plates-formes robotiques, allant des bras à bas coût comme le SO-100 aux humanoïdes tels que le Unitree G1 et le Reachy2. La bibliothèque met l'accent sur l'agnosticisme matériel, permettant aux développeurs de découpler la logique de contrôle des détails matériels spécifiques grâce à une interface standardisée de classe `Robot`. Une caractéristique clé de LeRobot est son approche pour résoudre la fragmentation des données en robotique grâce au format LeRobotDataset. Ce format standardisé combine des vidéos MP4 synchronisées (ou des images) pour les données visuelles avec des fichiers Parquet pour les données d'état et d'action. Il est profondément intégré avec le Hugging Face Hub, permettant un stockage efficace, une diffusion et une visualisation de grands jeux de données robotiques. Les utilisateurs peuvent facilement charger des jeux de données, manipuler des épisodes et fusionner des sources de données à l'aide d'API Python simples. LeRobot implémente un large éventail de politiques de pointe couvrant l'apprentissage par imitation, l'apprentissage par renforcement et les modèles Vision-Language-Action (VLA). Des modèles notables tels que ACT, Diffusion Policy, Pi0, GR00T N1.5 et SmolVLA sont pris en charge. La bibliothèque prend également en charge les modèles de monde émergents tels que VLA-JEPA et les modèles de récompense tels que SARM et Robometer. L'entraînement de ces politiques est rationalisé grâce à des configurations de script, permettant aux utilisateurs de lancer des travaux d'entraînement avec de simples arguments de ligne de commande spécifiant le type de politique et le référentiel de jeu de données. L'inférence et l'évaluation sont prises en charge via des scripts unifiés qui fonctionnent à la fois avec des environnements de simulation et du matériel réel. LeRobot s'intègre aux benchmarks standard tels que LIBERO et MetaWorld, et fournit des outils permettant aux utilisateurs de mettre en œuvre et de distribuer leurs propres environnements de simulation via EnvHub. Le projet favorise un écosystème open-source avec une documentation extensive, un soutien communautaire via Discord et des ressources pour l'intégration de matériel et de politique personnalisés.