Физический ИИ: как нейросети учатся действовать в мире

Обычная языковая модельбольшая языковая модель Большая языковая модель (LLM) это нейросеть, обученная на огромном объеме текстов, которая пишет, пересказывает и разбирает текст по запросу. Подробнее в словаре отвечает текстом. Физический ИИ отвечает действием: повернуть захват, сделать шаг, затормозить. Для этого нейросети нужно понимать геометрию, вес, трение и последствия своих движений.

Главная трудность в данных. Текстов для обучения языковых моделей много, а записей того, как робот берет чашку, мало и они дорогие: каждый час данных требует робота, оператора и площадку. Поэтому физический ИИ строят из трех частей: модели мира, симуляции с синтетическими данными и моделей «зрение, язык, действие», которые превращают команду в движение.

Одной из первых открытых платформ для этого стала Cosmos: NVIDIA выпустила ее 6 января 2025 года для обучения роботов и беспилотников. Подробно о роботах, которые уже работают у заказчиков, рассказано в обзоре робототехники.

Модель мира предсказывает, как изменится сцена после действия: куда покатится ящик, что увидит камера машины через секунду. На такой модели можно проверить тысячи вариантов без риска сломать робота.

Cosmos от NVIDIA вышла 6 января 2025 года под открытой лицензией NVIDIA на Hugging Face. Среди первых пользователей компания назвала 1X, Agility, Figure AI, Uber и XPENG. 1 июня 2026 года на GTC Taipei вышло семейство Cosmos 3, старшая модель Cosmos3-Super содержит 64 млрд параметров.

Подробнее о том, как устроена модель мира и чем она отличается от генератора видео, рассказано в словаре.

Синтетические данные это примеры, созданные компьютером, а не записанные с настоящего робота. Их генерируют в симуляторе: виртуальный робот повторяет задачу тысячи раз с разным светом, предметами и помехами.

Эффект подтвержден цифрами. 18 марта 2025 года NVIDIA сообщила, что за 11 часов сгенерировала 780 000 синтетических траекторий для модели GR00T N1, это 6 500 часов показов человека, а смесь синтетики и реальных данных дала +40% к результату.

Симуляторы ускоряются. NVIDIA, Google DeepMind и Disney Research разрабатывают открытый физический движок Newton, а MuJoCo-Warp должен ускорить задачи машинного обучениямашинное обучение Машинное обучение (machine learning, ML) это раздел ИИ, в котором программа находит правила в данных сама, а не получает их готовыми от разработчика. Подробнее в словаре роботов больше чем в 70 раз. Сравнение симуляторов и библиотек собрано на странице об обучении роботов.

Модель «зрение, язык, действие» получает кадры с камер и команду словами, а выдает движения суставов. Внутри часто две части: медленная планирует шаги, быстрая управляет моторами. Так устроена GR00T N1 от NVIDIA.

Physical Intelligence 4 февраля 2025 года открыла код и веса моделипараметры модели Параметры модели это числа внутри нейросети, которые она подбирает при обучении и по которым потом вычисляет каждый ответ. Подробнее в словаре π0: по данным компании, для дообучения на новой задаче хватает 1-20 часов данных с робота. Сами авторы называют выпуск экспериментом.

Google DeepMind 25 сентября 2025 года представила Gemini Robotics 1.5, которая думает перед движением и объясняет ход мыслей, и планировщик Gemini Robotics-ER 1.5. Навыки, выученные на одном роботе ALOHA 2, переносятся на гуманоида Apollo и руку Franka. Открытые и закрытые модели этого класса сравниваем на странице о моделях для роботов.

NVIDIA закрывает всю цепочку: модели мирамодель мира Модель мира (world model) это внутренняя модель среды в нейросети, которая предсказывает, как мир изменится после действия, и позволяет агенту планировать, прежде чем действовать. Подробнее в словаре Cosmos, симулятор Isaac Sim с библиотекой Isaac Lab и модель GR00T. 16 марта 2026 года компания выпустила GR00T N1.7 с правом коммерческого использования, о ее применении объявили Humanoid, LG Electronics, NEURA и Noble Machines. 16 сентября 2026 года вышла ранняя версия Isaac Lab 3.0, где часть сценариев обучения работает без установки Isaac Sim.

Google DeepMind развивает Gemini Robotics и открытый движок MuJoCo: 14 октября 2026 года вышла версия MuJoCo 3.16.0. Еще в 2023 году DeepMind с лабораториями-партнерами собрала Open X-Embodiment, открытый набор данныхдатасет Датасет (dataset) это набор данных, собранный и оформленный для обучения или проверки модели: таблица, папка с картинками или корпус текстов, где каждый пример описан одинаково. Подробнее в словаре с 22 типов роботов, больше 1 млн эпизодов и 500 навыков.

30 июля 2026 года Google DeepMind выпустила Gemini Robotics 2: по данным компании, модель управляет гуманоидом целиком и адаптируется к новому роботу менее чем по 200 примерам. Модели действия пока доступны только партнерам раннего доступа, а планировщик ER 2 открыт разработчикам через Gemini API.

Physical Intelligence делает ставку на открытые моделимодель с открытыми весами Модель с открытыми весами (open-weights model) это нейросеть, файлы параметров которой можно скачать и запустить на своем оборудовании. Подробнее в словаре π0. Производители роботов, от Figure AI до 1X, строят собственные модели или дообучают открытые.

Ближайшая польза физического ИИ не в гуманоидах, а в задачах, где уже стоит камера или манипулятор: захват деталей без точной раскладки, проверка качества, планирование маршрутов на складе, перенастройка линии под новый продукт.

Симуляция полезна и без робота. Цифровая копия участка в Isaac Sim или MuJoCo позволяет проверить планировку и движения до покупки оборудования. Учтите ограничения: по каталогу Isaac Sim официально не поддерживает Россию, а MuJoCo, GR00T, π0 и Cosmos скачиваются как открытые проекты без ограничений по стране.

Пилот физического ИИ обычно идет в три шага. Сначала выбирают одну операцию и записывают, как ее делают сейчас: сколько времени, сколько брака. Потом проверяют задачу в симуляторе на открытых инструментах. И только после этого ставят оборудование на участок и сравнивают цифры до и после.

Открытые веса можно запускать на своем сервере, тогда видео с площадки не уходит за рубеж. Как устроен такой запуск, рассказано в разделе о суверенном ИИ.