Словарь ИИ
Что такое управление компьютером
Коротко
Управление компьютером (computer use) это умение ИИ-агента работать с программами как человек: смотреть на экран, двигать курсор, нажимать кнопки и печатать текст.
ИИ-агенты · computer use
Михаил МозгПроверено: 1 минута чтения
Ребенку
Обычно, чтобы помочь тебе с компьютером, нужен взрослый рядом: он смотрит на экран, показывает, куда нажать, и сам двигает мышку. Теперь есть программы, которые умеют так же: видят картинку на экране и нажимают нужные кнопки. Но они пока медленные и иногда ошибаются, поэтому за ними, как за новичком, присматривает человек.
Простыми словами
Многие программы не умеют обмениваться данными с другими напрямую: у них есть только окна, кнопки и поля. Раньше ИИ к таким программам было не подключить. В новом режиме модель получает снимок экрана, понимает, что на нем, и выдает команду: кликнуть в точку, ввести текст, нажать клавишу. Затем получает новый снимок и решает, что дальше. Так она может заполнить форму на сайте поставщика или перенести данные из письма в старую учетную программу. Работает это медленнее и дороже обычного подключения.
Для бизнеса
Этот режим выручает там, где у системы нет API, а переделывать ее дорого: старые учетные программы, порталы закупок, личные кабинеты поставщиков. По сути это замена роботам на жестких сценариях (RPA): агент не ломается, если кнопка сдвинулась. Минусы серьезные. Каждый шаг требует снимка экрана и обращения к модели, поэтому задача стоит дороже и идет дольше, чем через прямое подключение. Ошибки тоже случаются: Anthropic при запуске в октябре 2024 года прямо называла функцию экспериментальной и склонной к ошибкам. Кроме того, агент видит все, что на экране, включая чужие данные. Запускают его в отдельной виртуальной машине с минимальными правами и сначала проверяют на пилоте на одной операции.
Для специалиста
Управление компьютером (computer use) это класс инструментов, при котором мультимодальная модель действует в графическом интерфейсе: получает скриншоты и возвращает действия мыши и клавиатуры. Anthropic открыла такую функцию в публичной бете 22 октября 2024 года; в тесте OSWorld модель Claude 3.5 Sonnet тогда набрала 14,9% в категории только со скриншотами. Сам OSWorld (Xie и др., 2024) содержит 369 задач в реальных операционных системах: люди решают больше 72,36% из них, а модели на момент публикации решали не больше 12,24%. Цикл работы: скриншот, рассуждение, действие, новый скриншот. Близкие варианты: браузерные агенты, которые читают структуру страницы, и агенты с доступом к командной строке. Типовые проблемы: точность координат, длинные цепочки шагов и промпт-инъекции через содержимое экрана. Запуск изолируют в контейнере или виртуальной машине.
Пример
Менеджер по закупкам каждый день переносит заказы с портала поставщика в учетную программу без API. Агент открывает портал, копирует новые заказы и заполняет карточки, а менеджер утром проверяет список и подтверждает.
Связанные термины
Вопросы и ответы
Чем управление компьютером отличается от RPA?
Безопасно ли давать ИИ управлять компьютером?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений