ml-agents

Unity Machine Learning Agents Toolkit (ML-Agents) — это проект с открытым исходным кодом от Unity Technologies, который соединяет разработку игр и исследования в области искусственного интеллекта. Он предоставляет гибкую платформу, где игры и симуляции выступают в роли сред для обучения интеллектуальных агентов, используя глубокое обучение с подкреплением, обучение с имитацией, нейроэволюцию и другие методы. Ключевые возможности включают поддержку сценариев с одним агентом, многоагентных кооперативных и многоагентных соревновательных сценариев через несколько алгоритмов глубокого обучения с подкреплением, таких как PPO, SAC, MA-POCA и self-play. Для обучения с имитацией предлагаются Behavioral Cloning (BC) и Generative Adversarial Imitation Learning (GAIL). Инструментарий включает более 17 примеров сред Unity и гибкий Unity SDK, который можно интегрировать в существующие игры или пользовательские сцены. Python API позволяет исследователям обучать агентов с помощью обучения с подкреплением, обучения с имитацией или любого пользовательского метода. Обученные агенты могут быть развернуты для различных целей, включая управление поведением NPC в многоагентных и состязательных средах, автоматизированное тестирование сборок игр и оценку дизайнерских решений до выпуска. Инструментарий также поддерживает сценарии обучения по учебной программе, рандомизацию среды для устойчивого обучения агентов, принятие решений по требованию и несколько одновременных экземпляров среды Unity для параллельного обучения. ML-Agents Toolkit использует Unity Inference Engine для нативной кросс-платформенной поддержки и предоставляет API для обертки сред обучения Unity как сред gym или PettingZoo. Пользовательские алгоритмы и компоненты обучения могут быть добавлены через систему плагинов. Проект лицензирован под Apache 2.0 и проверен для Unity 2020.1 и более поздних версий. Последний релиз (Release 23, август 2025) включает версию Python-пакета 1.1.0 и версию Unity-пакета 4.0.0.