Институт AIRI представил открытую платформу тестирования моделей управления роботами

Институт AIRI открыл тестовый доступ к VLA Arena - открытой платформе, которая позволяет пользователям оценивать и сравнивать современные модели управления роботами по аналогии с площадками для сравнения LLM. Решение делает тестирование технологий доступным для широкой аудитории, включая исследователей, инженеров и любителей робототехники. Платформа имеет интерфейс, который позволяет запускать роботов в виртуальной среде, а также подключать реальные устройства. Пользователи могут оценивать производительность моделей в различных сценариях, в том числе на русском языке. Платформа работает с реальными роботами и симуляциями, а также поддерживает последние достижения в области искусственного интеллекта и робототехники, такие как модели Vision Language Action (VLA).

На данный момент платформа поддерживает компактные манипуляторы LeRobot SO-100 и SO-101 от HuggingFace. Эти роботы, доступные для самостоятельной сборки или в готовом виде, идеально подходят для использования в образовательных и исследовательских целях. Их стоимость варьируется в пределах 30 тысяч рублей, что делает их доступными для широкого круга пользователей.

Особенности функционала платформы:

1. Тестирование моделей: платформа предоставляет возможность протестировать модели в симуляции или на реальном роботе. Если у пользователя нет робота, он может сравнивать модели в виртуальной среде, а если робот есть — подключить его и проверить, как различные модели управляют его действиями.

2. Таблица лидеров: все модели оцениваются пользователями с учетом их предпочтений в реальных условиях. Оценки основаны на рандомизированных тестах. Это позволяет избежать предвзятости и предоставляет объективные результаты.

3. Модели на платформе: в настоящий момент доступны 3 модели для реальных роботов и 4 для симуляций. Среди них:

• π0.5 от Physical Intelligence;
• SmolVLA от Hugging Face;
• Flower — модель с открытым исходным кодом, доступная для модификации;
• Модель с открытым исходным кодом, специально адаптированная в AIRI для работы на русском языке с более высоким коэффициентом локализации.

4. Платформа также содержит чистые датасеты для LeRobot из открытых источников, размеченные и переведенные на русский язык для помощи разработчикам в обучении собственных моделей для LeRobot.

VLA-модели — новая эпоха в области управления роботами. Это адаптированные версии больших языковых моделей, которые обладают способностью понимать и выполнять инструкции, заданные пользователем. Такие модели могут работать в различных сценариях, включая сложные задачи, требующие обобщения и анализа контекста. Все используемые модели с открытым исходным кодом, что позволяет пользователям настраивать и модифицировать их под свои задачи.

"Мы видим в VLA-моделях огромный потенциал и работаем над тем, чтобы предоставить доступ к лучшим решениям. VLA Arena — это не просто инструмент для тестирования, но и научный проект, который призван повысить уровень транспарентности в оценке роботов и моделей управления ими. Мы делаем акцент на доступности и объективных метриках, которые не только учитывают технические характеристики моделей, но и оценку их эффективности с точки зрения конечных пользователей", — отметил руководитель научной группы "Адаптивные агенты" Института AIRI Владислав Куренков.

Все существующие в мире аналоги, включая RoboArena от ученых из Беркли и Стэнфорда, оперируют роботами, стоимость которых исчисляется десятками тысяч долларов и воспользоваться которыми можно только в исследовательских лабораториях. VLA Arena адаптирована специально для LeRobot, которые стоят значительно меньше и легко кастомизируются, а значит, тестирование может пройти любой желающий, даже без большого бюджета.

Первый запуск платформы запланирован на срок до трех месяцев. В этот период планируется собирать данные и отзывы, чтобы улучшить арену.