Новый движок ускоряет обучение роботов: они работают в 430 000 раз "быстрее реальности"

Обучение робототехнике с использованием ИИ значительно возросло с помощью нового инструмента под названием "Genesis" — новой системы компьютерного моделирования с открытым исходным кодом. Об этом пишет Interesting Engineering.

Представленная большой группой исследователей из университетов и частных компаний, система позволяет роботам практиковать задачи в смоделированной реальности в 430 000 раз быстрее, чем это было ранее.

Genesis разработан на чистом Python, при этом он в 10-80 раз быстрее существующих стеков с ускорением на GPU, таких как Isaac Gym и MJX. Он обеспечивает скорость моделирования примерно в 430 000 раз выше, чем в реальном времени, и занимает всего 26 секунд для обучения политики движения робота, переносимой в реальный мир на одном RTX4090.

Генеративный фреймворк нацелен на автоматизацию генерации данных и множественных модальностей. Разработанная для робототехники общего назначения, система способна моделировать широкий спектр материалов и физических явлений. Она представляет собой легкую, сверхбыструю, удобную платформу моделирования робототехники, а также мощный и быстрый инструмент фотореалистичного рендеринга.

Целью платформы является интеграция физически точных и пространственно согласованных видео, движения и параметров камеры, движения персонажей-людей и животных, роботизированной манипуляции и политики передвижения, полностью интерактивных 3D-сцен, речевого аудио, лицевой анимации и эмоций.

В крупномасштабном моделировании Genesis использовала автоматическую гибернацию для ускорения моделирования сущностей, находящихся в конвергентных и статических состояниях. Эта функция находится в стадии тестирования и будет выпущена в версии 0.1.1. При моделировании сцены манипуляции Genesis работает со скоростью 43 миллиона кадров в секунду, что в 430 000 раз быстрее, чем в реальном времени.

Исследовательская группа также утверждает, что физический движок Genesis оснащен сгенерированным на основе VLM агентом, который использует API, предоставляемые инфраструктурой моделирования, в качестве инструментов для создания 4D динамических миров, которые затем можно использовать в качестве основного источника данных для извлечения различных модальностей данных.