Сбер представил GreenWAM — модель искусственного интеллекта, которая умеет формировать команды для робота и предсказывать, как изменится окружающая сцена после его движений. Разработка объединяет две способности: моделирование происходящего и управление действиями. Её проверили в виртуальных средах и на человекоподобном роботе Грине.

GreenWAM продолжает направление исследований Сбера в области искусственного интеллекта для роботов, к которому относится и Green-VLA. В новой работе акцент сделан на предсказании последствий действий: модель одновременно учится управлять роботом при выполнении задания и предсказывать, как изменится мир в результате его действий. И в прогнозе, и в управлении GreenWAM показала результаты на уровне ведущих мировых разработок, причём одна способность усиливает другую.

Эксперты Сбера обучили GreenWAM на данных 20 семейств роботов — от двуруких манипуляторов до антропоморфных роботов с кистями. Для этого действия всех роботов описали в едином представлении, а в архитектуру добавили отдельный модуль, отвечающий за выбор действий.

По заданным действиям робота GreenWAM способна предсказать до минуты видео. В международном тесте WorldArena 1.0 модель показала второй результат среди 128 моделей рейтинга по сходству прогноза с реальной записью и точнее воспроизвела геометрию сцены, чем модели мира NVIDIA, Стэнфордского университета и AgiBot.

В управлении роботом GreenWAM выступает на уровне лучших мировых моделей и опережает большинство из них, включая π0.5 от Physical Intelligence. В тесте RoboTwin 2.0 доля успешно выполненных задач составила 67,5% против 58,4% у π0.5, а в знакомых для модели условиях — 87%: выше этого результата в официальном рейтинге лишь две модели. В тесте LIBERO-plus, где у робота меняют освещение, положение камер, фон и формулировку команды, GreenWAM без дополнительного обучения выполнила 86,8% задач — больше, чем π0.5 и аналогичные модели NVIDIA и AgiBot.

Модель также испытали на человекоподобном роботе Грине, которого создал Сбер. По сравнению с моделью NVIDIA Cosmos 3 Edge, обученной на тех же данных, доля успешно выполненных задач выросла с 88,9% до 95,6% в знакомых для модели условиях. В новых условиях этот показатель повысился с 80% до 84%.

Эксперименты показали, что две способности модели усиливают друг друга. Обучение на данных роботов сделало прогноз модели точнее и одновременно повысило долю успешно выполненных задач — как в виртуальных тестах, так и на реальном роботе. А если при обучении управлению сохранить у модели умение предсказывать изменения мира, она заметно чаще справляется с задачами в незнакомых условиях. Большинство ошибок в таких условиях возникает, когда модель неверно представляет себе изменившуюся сцену.

Для работы в реальном времени разработчики создали ускоренную версию модели. Она работает в 12,3 раза быстрее исходной, а доля успешно выполненных задач на роботе при этом снизилась лишь с 95,6% до 91,1%. Это важно, когда робот должен быстро реагировать на изменения обстановки.

Андрей Белевцев, старший вице-президент, руководитель блока «Технологическое развитие» Сбербанка, отметил: «Для практического применения роботов искусственный интеллект должен распознавать окружающие объекты, выполнять команды и прогнозировать последствия своих действий. Особенно это важно в меняющихся условиях, когда роботу нужно оценивать новую обстановку и корректировать свои движения. В GreenWAM мы объединили эти возможности в одной модели. Дополнительное обучение на робототехнических данных помогло улучшить и прогнозирование, и качество управления. Результаты испытаний показывают, что такой подход эффективен не только в виртуальной среде, но и при управлении реальным роботом».