Как запустить ИИ-агента и не потерять контроль

Пилот это проверка агента на одном рабочем процессе с реальными клиентами и датой окончания. Один процесс нужен, чтобы понять, что именно дало результат: агент или что-то другое.

Возьмите процесс с большим потоком однотипных обращений: прием заявок, запись клиентов, типовые вопросы поддержки. Чем больше обращений в день, тем быстрее набирается статистика.

Агента подключают к системе, где живет процесс, с первого дня: к CRM, системе записи или мессенджеру. Без подключения это демонстрация, а не пилот.

С вашей стороны нужен один ответственный: он дает доступы, примеры переписок и правила ответов и каждый день смотрит спорные случаи. Без такого человека агент учится на догадках того, кто его собирал.

Gartner в июне 2025 года предсказал, что больше 40% проектов агентного ИИагентный ИИ Агентный ИИ это подход, при котором нейросеть получает цель и сама ведет работу к результату: планирует шаги, вызывает программы и проверяет, что получилось. Подробнее в словаре закроют к концу 2027 года из-за затрат, неясной пользы и слабого контроля рисков. Короткий пилот с ценой и сроком отвечает на вопросы о затратах и пользе до больших вложений.

Наш пилот длится 14 дней и стоит от 150 000 ₽, метрика записана в договор. Что входит в пилот и что вы получаете в конце, описано в статье о пилоте за 14 дней.

Метрика это одно число, по которому видно, справляется ли агент с процессом. Ее измеряют в вашей системе без ручного подсчета, до запуска и после.

Документация Anthropic для разработчиков описывает хороший критерий успеха четырьмя свойствами: конкретный, измеримый, достижимый и связанный с задачей. «Агент хорошо отвечает» не подходит ни под одно свойство, «доля заявок, заведенных в CRM» подходит под все.

Примеры метрик для запуска: время до первого ответа клиенту, доля обращений, закрытых без оператора, доля записей без администратора. Одна главная метрика идет в договор, остальные в еженедельный отчет.

Там же Anthropic советует оценивать систему сразу по нескольким критериям. Для агента к главной метрике добавляют контроль качества: долю верных ответов на проверочном наборе вопросов и ответы, которые агент давать не должен.

Цель ставят от исходной цифры: сократить время первого ответа или поднять долю обращений без оператора на величину, названную до старта. Цель, придуманная после запуска, подгоняется под результат.

Замерьте метрику до старта. Без исходной цифры через 14 дней у вас будет мнение, а не результат.

После запуска агент говорит с живыми клиентами, и его ошибки видны только в журнале. Журнал это запись каждого шага: вопрос, вызванный инструмент, ответ, передача человеку.

Инструменты сборки ведут такой журнал сами. В Agents SDK от OpenAI трассировка, то есть запись вызовов модели, инструментов, передач между агентами и проверок, включена по умолчанию. Она нужна, чтобы искать ошибки и следить за агентом и при разработке, и в работе.

Раз в неделю ответственный с вашей стороны и тот, кто собирал агента, проходят пять шагов:

1. Сравните метрику за неделю с прошлой неделей и с замером до запуска.

2. Прочитайте все диалоги с жалобой клиента и все передачи человеку.

3. Выпишите ответы, где агент ошибся в факте, цене или сроке, и найдите причину: инструкция, база знанийбаза знаний для ИИ База знаний для ИИ это отобранные и подготовленные документы компании, по которым ИИ-ассистент ищет ответы: регламенты, инструкции, каталог, ответы на частые вопросы. Подробнее в словаре или данные из CRM.

4. Исправьте причину и снова прогоните проверочный набор, чтобы правка не сломала другие ответы.

5. Запишите изменения с датой, чтобы неудачную правку можно было откатить.

В пилоте разбор идет каждый день: агент встречает вопросы, которых не было в примерах. После первых 30 дней хватает раза в неделю, если метрика держится.

Расширять агента стоит, когда главная метрика дошла до цели и держится несколько недель подряд, а доля передач человеку не растет. Если метрика не сдвинулась, сначала найдите причину в диалогах: не тот процесс, мало данных или сотрудники не передавали агенту обращения.

Расширяют по одному шагу: новый канал, новый тип вопросов или второй процесс. Каждый шаг получает свою метрику и свой замер до запуска, иначе снова непонятно, что сработало.

Остановить пилот тоже нормальный итог. Если к концу срока метрика не сдвинулась и причина в процессе, а не в настройке, деньги переносят на следующий процесс из очереди, а не продлевают эксперимент.

MIT NANDA пишет, что покупка у специализированных поставщиков и партнерство удаются примерно в 67% случаев, собственные разработки втрое реже. Перед расширением решите, кто поведет новые процессы: своя команда или партнер, который уже доводил агентов до результата.

Следующая ступень после пилота у нас: ИИ-отдел из 3–5 агентов за 4–6 недель от 450 000 ₽, стоимость пилота засчитывается. Сопровождение после запуска стоит от 40 000 ₽ в месяц, в него входят разборы и правки.