ММООЗЗГГ.ru

Разбор

Ошибки при создании ИИ-агента: от лишней сложности до утечки

6 мин13 источников

Ошибки при создании ИИ-агента редко сидят в коде: чаще агента строят не для той задачи, без метрики и с лишними правами. Gartner ожидает, что больше 40% проектов агентного ИИ закроют к концу 2027 года из-за затрат, неясной пользы и слабого контроля рисков. Ниже 10 ошибок и вопросы, которые стоит задать себе до старта.

На странице · 4 раздела

Для всех уровней

10 ошибок

Ошибки идут в том порядке, в котором их совершают: сначала при выборе задачи, потом при сборке, потом после запуска. Первые три стоят дороже остальных, потому что их не исправить настройкой: агента приходится строить заново или выключать.

1. Нет метрики. Агента запускают, не записав, какую цифру он должен изменить: время ответа, число обработанных заявок, часы сотрудников. Через месяц пользу нечем доказать.

2. Не та задача. Агента ставят на процесс, который редко повторяется или где ошибка стоит дорого. Начинать стоит с частой работы, у которой есть понятный правильный ответ.

3. Лишняя сложность. Сразу строят команду из нескольких агентов там, где хватило бы одного запроса к модели. Anthropic советует начинать с простого решения и усложнять, только когда это нужно, а иногда агент не нужен вовсе.

4. Нет проверки ответов. Агента выпускают к клиентам без набора тестовых вопросов. 14 февраля 2024 года трибунал канадской провинции Британская Колумбия признал Air Canada ответственной за неверный ответ чат-бота на сайте и отклонил довод, что бот отвечает за свои слова сам.

5. Доступ ко всей CRM. Агенту дают права администратора, хотя ему нужно читать одну воронку продаж. OWASP, сообщество по безопасности программ, называет это избыточной автономией: лишние функции, лишние права и лишняя самостоятельность агента.

6. Действия без человека. Агент отправляет письма, меняет цены или возвращает деньги без подтверждения. OWASP советует, чтобы важные действия подтверждал человек.

7. Данные в зарубежном сервисе. 2 мая 2023 года Samsung запретила сотрудникам генеративный ИИ после того, как инженеры загрузили в ChatGPT внутренний исходный код. Для персональных данных клиентов действует 152-ФЗ: хранение в России и уведомление Роскомнадзора до передачи за рубеж.

8. Агенту не сказали, чего он не знает. В инструкции нет правила «если ответа нет в документах, так и скажи», и модель додумывает ответ. Почему так бывает, разобрано в статье о том, почему ИИ-агент отвечает неправильно.

9. Нет владельца. Агента запустил подрядчик, а внутри компании никто не обновляет документы и не читает журнал. Через пару месяцев агент отвечает по старому прайсу.

10. Оплата за часы, а не за результат. Типовой агент собирается из открытых блоков; если за него просят как за разработку с нуля, спросите, из чего цена. Оплачивайте результат по метрике, а не часы.

Почему проекты закрывают

По прогнозу Gartner от 25 июня 2025 года, больше 40% проектов агентного ИИ закроют к концу 2027 года. Причины названы три: затраты, неясная польза и слабый контроль рисков.

Там же Gartner оценил, что из тысяч поставщиков «агентов» настоящих около 130. Остальные переименовали чат-боты и RPA, программы, которые повторяют действия человека по жесткому сценарию.

MIT NANDA в августе 2025 года выяснила, что 95% пилотов генеративного ИИ не дают измеримого эффекта на прибыль. Покупка у специализированных поставщиков и партнерство удаются примерно в 67% случаев, собственные разработки втрое реже.

Во всех трех цифрах причина не в коде. Проект закрывают, когда никто заранее не решил, какую задачу агент решает, сколько она стоит компании и кто примет результат.

Для компании любого размера отсюда простое правило: каждого агента запускают как пилот с метрикой и датой проверки. Если к этой дате цифра не сдвинулась, агента выключают, а деньги переносят на следующий процесс из списка.

Подробно о причинах написано на странице о провале внедрения ИИ-агентов.

Как проверить себя до старта

Перед стартом ответьте письменно на семь вопросов. Если на какой-то из них ответа нет, начинать рано.

1. Какую цифру изменит агент и какое у нее значение сейчас?

2. Сколько раз в месяц повторяется задача и сколько стоит ошибка в ней?

3. Можно ли решить задачу проще: шаблоном, правилом в CRM или одним запросом к модели?

4. Какие данные нужны агенту и где они будут храниться?

5. Какие права нужны агенту и какие действия подтверждает человек?

6. На каких вопросах вы проверите ответы до запуска и какой процент верных ответов считаете достаточным?

7. Кто в компании отвечает за агента после запуска и как часто смотрит журнал?

Вопросы 3 и 5 повторяют советы Anthropic и OWASP: простое решение раньше сложного, минимум прав и человек перед важным действием. Если вопросов о выборе задачи больше, чем ответов, начните не со сборки, а со списка процессов, где компания теряет деньги.

Что проверять после запуска

Проверка ответов и подтверждение действий, ошибки 4 и 6, не заканчиваются в день запуска. Агент, который один раз верно ответил на тестовый вопрос, может ошибиться на нем же во второй раз. Anthropic в январе 2026 года привела расчет: если агент справляется с задачей в 75% попыток, три попытки подряд удаются ему примерно в 42% случаев.

Поэтому набор проверок прогоняют после каждого изменения инструкции, модели или документов, а баллам не верят, пока не прочитаны записи самих диалогов. Журнал нужен с первого дня: в Agents SDK от OpenAI запись вызовов модели и инструментов включена по умолчанию.

Чувствительные, необратимые или дорогие действия, например отмену заказа, крупный возврат или платеж, OpenAI советует отдавать на проверку человеку, пока не вырастет уверенность в надежности агента. Снимать это подтверждение стоит по цифрам из журнала, а не по ощущению.

Отдельный риск у агента, который одновременно видит закрытые данные, читает непроверенный текст, например письма клиентов, и может отправлять данные наружу. Саймон Уиллисон называет такое сочетание «смертельной тройкой» и не доверяет фильтрам, которые ловят 95% атак: в защите веб-приложений это провальный результат. Уберите у такого агента хотя бы одну из трех возможностей.

Вопросы и ответы

Как понять, что задаче нужен агент, а не жесткий сценарий?

OpenAI в руководстве апреля 2025 года называет три признака: решения с исключениями, как одобрение возврата денег; громоздкие правила, которые дорого обновлять; много неструктурированных данных, как при разборе страхового случая. Если задача не похожа ни на один из них, может хватить сценария без самостоятельности модели. Anthropic советует то же: начинать с самого простого решения.

С какого числа тестовых вопросов начинать?

Anthropic советует начинать с 20–50 простых задач, взятых из реальных ошибок, и пополнять набор каждой новой ошибкой. Больше вопросов с автоматической проверкой ценнее, чем меньше вопросов с ручной. В набор входят и трудные случаи: вопрос не по теме, вопрос без ответа в данных, очень длинный или грубый ввод.

Кто отвечает, если агент ответил клиенту неверно?

Компания. В деле Moffatt против Air Canada трибунал Британской Колумбии 14 февраля 2024 года признал авиакомпанию ответственной за ответ чат-бота и отклонил довод, что бот отвечает за свои слова сам. Безопаснее исходить из того же: ответ агента на вашем сайте это ответ компании.

Чем грозит утечка персональных данных через агента?

С 30 мая 2025 года за повторную утечку персональных данных юрлицо платит от 1 до 3% выручки, но не меньше 25 млн и не больше 500 млн рублей (420-ФЗ). Агент с доступом к базе клиентов становится еще одним местом, откуда данные могут уйти. Поэтому у него минимальные права, а данные граждан России по 152-ФЗ хранятся в базах на территории страны.

Источники и проверка

Проверено редакцией 16 октября 2026.

  1. Anthropic, 19 декабря 2024 (anthropic.com)
  2. Gartner, 25 июня 2025 (gartner.com)
  3. Fortune через Yahoo Finance, 18 августа 2025 (finance.yahoo.com)
  4. Bloomberg, 2 мая 2023 (bloomberg.com)
  5. Brace Law Firm, 9 июля 2023 (brace-lf.com)
  6. OWASP GenAI Security Project, 2025 (genai.owasp.org)
  7. Law360 Canada, 16 февраля 2024 (law360.ca)
  8. OpenAI, A practical guide to building agents, апрель 2025 (cdn.openai.com)
  9. Anthropic Engineering, 9 января 2026 (anthropic.com)
  10. Документация Claude: Define success criteria and build evaluations, 2026 (platform.claude.com)
  11. Документация OpenAI Agents SDK: Tracing, 2026 (openai.github.io)
  12. Simon Willison, 16 июня 2025 (simonwillison.net)
  13. ppt.ru, 420-ФЗ, 30 ноября 2024 (ppt.ru)

Нашли ошибку? Напишите нам

Публикации

Как создать чат-бот в Максе: инструкция для компании

Чтобы создать чат-бот в Максе, компании нужно пройти четыре шага на платформе MAX для партнеров: проверить профиль организации через Госуслуги, заполнить карточку бота, дождаться модерации до 48 часов по рабочим дням и собрать сценарий в конструкторе или своим кодом. Ниже каждый шаг по документации MAX, проверенной 16 октября 2026 года, а также как связать бота с сайтом, CRM и командой и на чем бо

ИнструкцияИТСредний11 мин
Написать в Telegram