ММООЗЗГГ.ru

Разбор

Ошибки ИИ в бизнесе: как снизить риск и кто отвечает

6 мин5 источников

Ошибки ИИ в бизнесе растут не столько из модели, сколько из того, как ее поставили на процесс. По оценке BCG, около 70% трудностей при внедрении ИИ связаны с людьми и процессами, 20% с технологией и только 10% с алгоритмами. Ниже почему ИИ ошибается, где без человека нельзя, какие права давать агенту и как поймать ошибку до клиента.

На странице · 5 разделов

Почему ИИ ошибается

Языковая модель не знает ваших цен, сроков и правил, пока их не дали. Без правил она отвечает правдоподобно, но по своему представлению о том, как бывает обычно. Отсюда выдуманные цены и обещания, которых компания не дает.

Шесть причин, которые мы видим на разборах уже запущенных агентов:

1. Правил нет или они в голове у одного сотрудника.

2. Прайс и условия устарели: цены поменялись, агенту об этом не сказали.

3. Агента учили на выдуманных примерах, а клиенты пишут с опечатками и в три сообщения.

4. Нет передачи человеку: агент отвечает и на жалобы, и на спорные случаи.

5. Никто не смотрит диалоги, и агент закрепляет ошибки.

6. Нет сопровождения, и через полгода все это накапливается.

Это и есть трудности с людьми и процессами из исследования BCG. Каждая причина чинится правилами, источником прайса и ответственным, а не сменой модели. Подробный разбор в статье о том, почему ИИ-агент отвечает неправильно.

Задачи, где ИИ ошибается чаще

ИИ ошибается неравномерно. В эксперименте Harvard Business School и BCG (2023) консультанты с ИИ сделали работу на 40% качественнее, но в задачах за пределами возможностей ИИ ошибались чаще коллег без него. Модель не предупреждает, что вышла за свою границу, поэтому границу находите вы, до запуска.

Правило: прежде чем отдать задачу агенту, проверьте его на примерах, где правильный ответ известен. Расчеты, юридические формулировки, решения о скидке и все, чего нет в правилах, оставьте человеку, пока проверка не покажет обратное.

Второе правило: меньше шагов, меньше мест для ошибки. Anthropic в руководстве по построению агентов (декабрь 2024) советует начинать с самого простого решения и усложнять, только когда без этого нельзя. Сначала агент отвечает по прайсу, и только когда эта часть идет без ошибок, ему добавляют расчет скидки или заведение сделки.

Где нужен человек

Границу между агентом и человеком задают до первого клиента. Агент закрывает типовые вопросы, где ответ есть в правилах и базе знаний: цены, сроки, статус заказа, запись. Остальное он передает сотруднику вместе с историей разговора.

Человек нужен там, где ошибка стоит дорого или нужен компромисс:

1. Жалобы и конфликты с клиентом.

2. Скидки, исключения из правил и нестандартные условия.

3. Подписание документов, платежи и переговоры.

4. Вопросы, на которые в правилах нет ответа.

Правильная доля передач человеку не ноль. Агент, который не передает ничего, отвечает и там, где должен был позвать сотрудника.

За границу отвечает владелец процесса: руководитель отдела решает, что агент закрывает сам, и утверждает правила. Кто еще входит в команду и за что отвечает, описано на странице о структуре ИИ-департамента.

Какие права давать агенту

ИИ-агент это программа с учетной записью в вашей CRM, телефонии и мессенджерах, которая принимает сообщения от незнакомых людей. Чем шире у нее права, тем дороже обойдется ошибка или чужая инструкция, спрятанная в сообщении.

Правило одно: права только на свой процесс. Агенту продаж хватает заводить и обновлять сделки, писать историю переписки и читать базу знаний. Выгрузка базы клиентов и права администратора ему не нужны.

Что еще проверить:

1. Действия агента пишутся в журнал вашей CRM под его именем.

2. Агент не выполняет команды из входящих сообщений, которые меняют его правила, а передает такие запросы человеку.

3. Ваш администратор может отозвать доступы агента за минуты.

Почему это стало важнее, когда ИИ научился находить уязвимости в чужом коде, разобрано в статье о том, какие права давать ИИ-агенту.

Как ловить ошибку до клиента

Первые недели агент учится, и ошибки в это время будут. Важно, чтобы они были видны и чинились за день, а не накапливались.

Цена слабого контроля видна в прогнозе Gartner (июнь 2025): больше 40% проектов с ИИ-агентами закроют к концу 2027 года из-за расходов, неясной пользы и слабого контроля рисков. Проверка ответов дешевле закрытого проекта.

Проверка до запуска: возьмите реальные сообщения клиентов за последнюю неделю, отправьте агенту и оцените каждый ответ по трем вопросам. Правда ли это, по правилам ли, передал ли агент человеку то, что должен.

На пилоте ответственный каждый день просматривает диалоги и правит правила, на это уходит около получаса в день. Прайс и условия агент читает из CRM или 1С, а не из файла, поэтому смена цен не превращается в ошибку.

Ту же проверку повторяйте после каждой смены прайса, правил или модели: прогоните те же сообщения и сравните ответы с прошлым разом. Так ошибка, которую внесла правка, всплывет в тот же день, а не через жалобу.

После запуска работу агента меряют цифрой: доля вопросов, закрытых без человека, доля передач, число исправленных правил. Если цифра падает, это видно в отчете раньше, чем в жалобах клиентов.

За 15 минут бесплатного звонка скажем, какие пункты этого списка проверить у вашего агента первыми, даже если его делали не мы.

Вопросы и ответы

Почему ИИ ошибается, даже если модель дорогая?

Модель отвечает правдоподобно, а не по вашим правилам: если цен и условий у нее нет, она их додумает. По оценке BCG, только 10% трудностей при внедрении ИИ связаны с алгоритмами, остальное приходится на людей, процессы и технологию. Устаревший прайс дорогая модель не исправит, его исправляет ответственный за процесс.

Кто отвечает за ошибку ИИ-агента перед клиентом?

Клиент разговаривал с вашей компанией, поэтому обещание агента он предъявит вам, а не поставщику модели. Внутри компании за правила и границу передачи человеку отвечает владелец процесса, обычно руководитель отдела. За что отвечает подрядчик (качество правил, сопровождение, срок исправления ошибки), записывают в договоре.

Можно ли совсем избавиться от ошибок ИИ?

Нет, как нельзя избавиться от ошибок сотрудников. Цель в другом: ошибка видна в тот же день, стоит дешево и не повторяется. Это дают права только на свой процесс, передача спорных случаев человеку и проверка на одних и тех же сообщениях после каждой правки.

ИИ лучше работает вместо сотрудника или вместе с ним?

На сложных обращениях вместе. В исследовании NBER (2023) операторы поддержки с ИИ-помощником работали в среднем на 14% продуктивнее, новички на 34%: ИИ предлагал ответ, человек решал, отправлять ли его. На типовых вопросах с ответом в правилах агент отвечает сам, остальное передает сотруднику.

Источники и проверка

Проверено редакцией 13 октября 2026.

  1. BCG: 74% компаний не получают ощутимой ценности от ИИ, 24 октября 2024 (bcg.com)
  2. Harvard Business School: Navigating the Jagged Technological Frontier, 2023 (hbs.edu)
  3. NBER: Generative AI at Work, 2023 (nber.org)
  4. Gartner: больше 40% проектов агентного ИИ будут закрыты к концу 2027 года, 25 июня 2025 (gartner.com)
  5. Anthropic: Building effective agents, 19 декабря 2024 (anthropic.com)

Нашли ошибку? Напишите нам

Публикации

Как создать чат-бот в Максе: инструкция для компании

Чтобы создать чат-бот в Максе, компании нужно пройти четыре шага на платформе MAX для партнеров: проверить профиль организации через Госуслуги, заполнить карточку бота, дождаться модерации до 48 часов по рабочим дням и собрать сценарий в конструкторе или своим кодом. Ниже каждый шаг по документации MAX, проверенной 16 октября 2026 года, а также как связать бота с сайтом, CRM и командой и на чем бо

ИнструкцияИТСредний11 мин
Написать в Telegram