Об этом проекте

LeRobot — это комплексная библиотека с открытым исходным кодом, предназначенная для снижения порога входа в реальную робототехнику за счет предоставления моделей, наборов данных и инструментов на основе PyTorch. Она служит унифицированным интерфейсом для управления различными робототехническими платформами, от недорогих манипуляторов, таких как SO-100, до гуманоидов, таких как Unitree G1 и Reachy2. Библиотека подчеркивает независимость от оборудования, позволяя разработчикам отделять логику управления от конкретных деталей оборудования с помощью стандартизированного интерфейса класса `Robot`. Ключевой особенностью LeRobot является подход к решению проблемы фрагментации данных в робототехнике с помощью формата LeRobotDataset. Этот стандартизированный формат объединяет синхронизированные видео MP4 (или изображения) для визуальных данных с файлами Parquet для данных о состоянии и действиях. Он глубоко интегрирован с Hugging Face Hub, что обеспечивает эффективное хранение, потоковую передачу и визуализацию огромных наборов данных робототехники. Пользователи могут легко загружать наборы данных, манипулировать эпизодами и объединять источники данных с помощью простых API на Python. LeRobot реализует широкий спектр передовых политик, охватывающих имитационное обучение, обучение с подкреплением и модели Vision-Language-Action (VLA). Среди поддерживаемых моделей — ACT, Diffusion Policy, Pi0, GR00T N1.5 и SmolVLA. Библиотека также поддерживает развивающиеся модели мира, такие как VLA-JEPA, и модели вознаграждения, такие как SARM и Robometer. Обучение этих политик упрощено благодаря конфигурациям скриптов, позволяющим пользователям запускать задания на обучение с помощью простых аргументов командной строки, указывающих тип политики и репозиторий набора данных. Инференс и оценка поддерживаются с помощью унифицированных скриптов, которые работают как с симуляционными средами, так и с реальным оборудованием. LeRobot интегрируется со стандартными бенчмарками, такими как LIBERO и MetaWorld, и предоставляет инструменты для пользователей, чтобы реализовывать и распространять свои собственные симуляционные среды через EnvHub. Проект способствует развитию экосистемы с открытым исходным кодом благодаря обширной документации, поддержке сообщества через Discord и ресурсам для интеграции пользовательского оборудования и политик.