Почему ИИ ошибается
Языковая модельбольшая языковая модель. Большая языковая модель (LLM) это нейросеть, обученная на огромном объеме текстов, которая пишет, пересказывает и разбирает текст по запросу. не знает ваших цен, сроков и правил, пока их не дали. Без правил она отвечает правдоподобно, но по своему представлению о том, как бывает обычно. Отсюда выдуманные цены и обещания, которых компания не дает.
Шесть причин, которые мы видим на разборах уже запущенных агентов:
1. Правил нет или они в голове у одного сотрудника.
2. Прайс и условия устарели: цены поменялись, агенту об этом не сказали.
3. Агента учили на выдуманных примерах, а клиенты пишут с опечатками и в три сообщения.
4. Нет передачи человеку: агент отвечает и на жалобы, и на спорные случаи.
5. Никто не смотрит диалоги, и агент закрепляет ошибки.
6. Нет сопровождения, и через полгода все это накапливается.
Это и есть трудности с людьми и процессами из исследования BCG. Каждая причина чинится правилами, источником прайса и ответственным, а не сменой модели. Подробный разбор в статье о том, почему ИИ-агент отвечает неправильно.
Задачи, где ИИ ошибается чаще
ИИ ошибается неравномерно. В эксперименте Harvard Business School и BCG (2023) консультанты с ИИ сделали работу на 40% качественнее, но в задачах за пределами возможностей ИИ ошибались чаще коллег без него. Модель не предупреждает, что вышла за свою границу, поэтому границу находите вы, до запуска.
Правило: прежде чем отдать задачу агенту, проверьте его на примерах, где правильный ответ известен. Расчеты, юридические формулировки, решения о скидке и все, чего нет в правилах, оставьте человеку, пока проверка не покажет обратное.
Второе правило: меньше шагов, меньше мест для ошибки. Anthropic в руководстве по построению агентов (декабрь 2024) советует начинать с самого простого решения и усложнять, только когда без этого нельзя. Сначала агент отвечает по прайсу, и только когда эта часть идет без ошибок, ему добавляют расчет скидки или заведение сделки.
Где нужен человек
Границу между агентом и человеком задают до первого клиента. Агент закрывает типовые вопросы, где ответ есть в правилах и базе знанийбаза знаний для ИИ. База знаний для ИИ это отобранные и подготовленные документы компании, по которым ИИ-ассистент ищет ответы: регламенты, инструкции, каталог, ответы на частые вопросы.: цены, сроки, статус заказа, запись. Остальное он передает сотруднику вместе с историей разговора.
Человек нужен там, где ошибка стоит дорого или нужен компромисс:
1. Жалобы и конфликты с клиентом.
2. Скидки, исключения из правил и нестандартные условия.
3. Подписание документов, платежи и переговоры.
4. Вопросы, на которые в правилах нет ответа.
Правильная доля передач человеку не ноль. Агент, который не передает ничего, отвечает и там, где должен был позвать сотрудника.
За границу отвечает владелец процесса: руководитель отдела решает, что агент закрывает сам, и утверждает правила. Кто еще входит в команду и за что отвечает, описано на странице о структуре ИИ-департамента.
Какие права давать агенту
ИИ-агент это программа с учетной записью в вашей CRM, телефонии и мессенджерах, которая принимает сообщения от незнакомых людей. Чем шире у нее права, тем дороже обойдется ошибка или чужая инструкция, спрятанная в сообщении.
Правило одно: права только на свой процесс. Агенту продаж хватает заводить и обновлять сделки, писать историю переписки и читать базу знаний. Выгрузка базы клиентов и права администратора ему не нужны.
Что еще проверить:
1. Действия агента пишутся в журнал вашей CRM под его именем.
2. Агент не выполняет команды из входящих сообщений, которые меняют его правила, а передает такие запросы человеку.
3. Ваш администратор может отозвать доступы агента за минуты.
Почему это стало важнее, когда ИИ научился находить уязвимости в чужом коде, разобрано в статье о том, какие права давать ИИ-агенту.
Как ловить ошибку до клиента
Первые недели агент учится, и ошибки в это время будут. Важно, чтобы они были видны и чинились за день, а не накапливались.
Цена слабого контроля видна в прогнозе Gartner (июнь 2025): больше 40% проектов с ИИ-агентамиИИ-агент. ИИ-агент это нейросеть, которая сама выполняет задачу по шагам: ищет данные и пользуется программами, а в конце проверяет результат. закроют к концу 2027 года из-за расходов, неясной пользы и слабого контроля рисков. Проверка ответов дешевле закрытого проекта.
Проверка до запуска: возьмите реальные сообщения клиентов за последнюю неделю, отправьте агенту и оцените каждый ответ по трем вопросам. Правда ли это, по правилам ли, передал ли агент человеку то, что должен.
На пилоте ответственный каждый день просматривает диалоги и правит правила, на это уходит около получаса в день. Прайс и условия агент читает из CRM или 1С, а не из файла, поэтому смена цен не превращается в ошибку.
Ту же проверку повторяйте после каждой смены прайса, правил или модели: прогоните те же сообщения и сравните ответы с прошлым разом. Так ошибка, которую внесла правка, всплывет в тот же день, а не через жалобу.
После запуска работу агента меряют цифрой: доля вопросов, закрытых без человека, доля передач, число исправленных правил. Если цифра падает, это видно в отчете раньше, чем в жалобах клиентов.
За 15 минут бесплатного звонка скажем, какие пункты этого списка проверить у вашего агента первыми, даже если его делали не мы.