Нейросети для роботов: модели, которые превращают слова в движения

Четыре модели из списка открыты: GR00T, π0, SmolVLA и OpenVLA. Их веса и код скачиваются без ограничений по стране, и их можно запустить на своем сервере. Различаются они лицензией, размером и тем, на каких роботах проверены.

Gemini Robotics закрыта: планировщик Gemini Robotics ER 2 доступен в Gemini API, а модели действия Gemini Robotics 2 и On-Device 2 только партнерам раннего доступа. По каталогу Google официально не поддерживает Россию. Cosmos в списке не как модель управления, а как источник синтетических данныхсинтетические данные Синтетические данные это примеры, которые создала программа или нейросеть, а не собрали из реальной жизни: тексты, таблицы и картинки для обучения и проверки моделей. Подробнее в словаре для обучения остальных.

На входе кадры с камер, положение суставов и команда текстом, например «положи красную деталь в лоток». На выходе последовательность движений на ближайшие доли секунды. Модель повторяет этот цикл много раз в секунду, пока задача не выполнена.

Часто модель делят на две части. Isaac GR00T N1, которую NVIDIA выпустила 18 марта 2025 года, состоит из быстрой части, которая отвечает за движения, и медленной на языковой модели, которая планирует. Google DeepMind 25 сентября 2025 года разделила роли так же: Gemini Robotics-ER 1.5 планирует, Gemini Robotics 1.5 думает перед движением и выполняет.

Основу таких моделей берут у моделей, обученных на картинках и текстах: так робот понимает слова «красная» и «лоток» без отдельной разметки. Движения он учит на записях с роботов и синтетических данных. Больше о том, как это связано с моделями мирамодель мира Модель мира (world model) это внутренняя модель среды в нейросети, которая предсказывает, как мир изменится после действия, и позволяет агенту планировать, прежде чем действовать. Подробнее в словаре и симуляцией, рассказано на странице о физическом ИИ.

Isaac GR00T от NVIDIA. Код под Apache 2.0, веса под NVIDIA Open Model License. 16 марта 2026 года вышла версия N1.7 с правом коммерческого использования, о ее применении объявили Humanoid, LG Electronics, NEURA и Noble Machines. Для первой версии NVIDIA за 11 часов сгенерировала 780 000 синтетических траекторий, а смесь синтетики и реальных данных дала +40% к результату.

π0 от Physical Intelligence. Код и веса открыты 4 февраля 2025 года в репозитории openpi, код под Apache 2.0, веса на основе PaliGemma под Gemma Terms of Use. По данным компании, для дообучениядообучение Дообучение это настройка уже обученной модели на ваших примерах, чтобы она точнее выполняла конкретную задачу или писала в нужном стиле. Подробнее в словаре на новой задаче хватает 1-20 часов данных с робота, сами авторы называют выпуск экспериментом.

SmolVLA от Hugging Face. Модель на 450 млн параметров под Apache 2.0 вышла 3 июня 2025 года. Ее обучили на 487 открытых наборах данныхдатасет Датасет (dataset) это набор данных, собранный и оформленный для обучения или проверки модели: таблица, папка с картинками или корпус текстов, где каждый пример описан одинаково. Подробнее в словаре сообщества, всего меньше 30 тыс. эпизодов. Размер позволяет экспериментировать без серверного парка.

OpenVLA от Стэнфорда и партнеров. В статье от 13 июня 2024 года авторы сообщили, что модель на 7 млрд параметров обучена на 970 тыс. демонстраций и на 16,5 процентного пункта точнее закрытой RT-2-X на 55 млрд параметров в 29 задачах. Веса построены на Llama* 2, поэтому кроме MIT на них действует лицензия Llama 2: перед коммерческим проектом ее стоит прочитать юристу.

Gemini Robotics от Google DeepMind. 30 июля 2026 года вышла Gemini Robotics 2: по данным компании, модель управляет гуманоидом целиком и адаптируется к новому роботу менее чем по 200 примерам. Навыки, выученные на роботе ALOHA 2, переносятся на гуманоида Apollo и руку Franka.

Cosmos от NVIDIA. Открытые моделимодель с открытыми весами Модель с открытыми весами (open-weights model) это нейросеть, файлы параметров которой можно скачать и запустить на своем оборудовании. Подробнее в словаре мира, вышли 6 января 2025 года, среди первых пользователей 1X, Agility, Figure AI, Uber и XPENG. Семейство Cosmos 3 вышло 1 июня 2026 года под лицензией OpenMDW-1.1.

Цифры разработчиков различаются на порядки, и сравнивать их напрямую нельзя: задачи и роботы разные. Physical Intelligence для π0 называет 1-20 часов данных с робота на новую задачу. Google DeepMind для Gemini Robotics 2 пишет о менее чем 200 примерах для адаптации к новому роботу.

Синтетика сокращает ручную работу. NVIDIA за 11 часов получила 780 000 синтетических траекторий, это 6 500 часов показов человека, которые не пришлось записывать вручную с оператором.

Для компании это значит: бюджет эксперимента определяет не модель, а сбор данных. Нужны робот, оператор, который показывает движения, и площадка, похожая на реальный участок. Как устроено дообучение и почему качество примеров важнее их числа, объясняет словарь.

Open X-Embodiment, который Google DeepMind и лаборатории-партнеры выпустили 3 октября 2023 года, собрал данные с 22 типов роботов: больше 1 млн эпизодов и 500 навыков. Модель RT-1-X на нем в среднем на 50% успешнее исходных методов, а RT-2-X справляется с новыми навыками втрое успешнее.

Hugging Face развивает каталог наборов данных сообщества в формате библиотеки LeRobot: на 487 таких наборах обучена SmolVLA. Открытая рука SO-101 из того же проекта, по данным на апрель 2025 года, стоила около 100-130 $ в деталях и 240 $ готовым набором, поэтому записать свой набор может даже учебная лаборатория.

Перед использованием набора проверьте его лицензию: часть данных открыта только для исследований.

Первый шаг: выбрать одну задачу с понятной цифрой результата, например «взять деталь из ящика и положить в лоток, доля успешных попыток». Без такой цифры не понять, выросла ли доля успеха после дообучения.

Второй шаг: собрать стенд. Для учебного проекта хватит руки SO-101, библиотеки LeRobot и модели SmolVLA или π0. Для гуманоида и двуручных задач смотрите GR00T и симулятор Isaac Sim. Инструменты для симуляции разобраны на странице о симуляторах для роботов.

Третий шаг: записать 1-20 часов демонстраций, дообучить модель и сравнить результат с исходным. Гуманоиды, на которых эти модели работают, собраны в обзоре гуманоидных роботов.