Ошибки ИИ в бизнесе: как снизить риск и кто отвечает

Языковая модельбольшая языковая модель Большая языковая модель (LLM) это нейросеть, обученная на огромном объеме текстов, которая пишет, пересказывает и разбирает текст по запросу. Подробнее в словаре не знает ваших цен, сроков и правил, пока их не дали. Без правил она отвечает правдоподобно, но по своему представлению о том, как бывает обычно. Отсюда выдуманные цены и обещания, которых компания не дает.

Шесть причин, которые мы видим на разборах уже запущенных агентов:

1. Правил нет или они в голове у одного сотрудника.

2. Прайс и условия устарели: цены поменялись, агенту об этом не сказали.

3. Агента учили на выдуманных примерах, а клиенты пишут с опечатками и в три сообщения.

4. Нет передачи человеку: агент отвечает и на жалобы, и на спорные случаи.

5. Никто не смотрит диалоги, и агент закрепляет ошибки.

6. Нет сопровождения, и через полгода все это накапливается.

Это и есть трудности с людьми и процессами из исследования BCG. Каждая причина чинится правилами, источником прайса и ответственным, а не сменой модели. Подробный разбор в статье о том, почему ИИ-агент отвечает неправильно.

Границу между агентом и человеком задают до первого клиента. Агент закрывает типовые вопросы, где ответ есть в правилах и базе знанийбаза знаний для ИИ База знаний для ИИ это отобранные и подготовленные документы компании, по которым ИИ-ассистент ищет ответы: регламенты, инструкции, каталог, ответы на частые вопросы. Подробнее в словаре: цены, сроки, статус заказа, запись. Остальное он передает сотруднику вместе с историей разговора.

Человек нужен там, где ошибка стоит дорого или нужен компромисс:

1. Жалобы и конфликты с клиентом.

2. Скидки, исключения из правил и нестандартные условия.

3. Подписание документов, платежи и переговоры.

4. Вопросы, на которые в правилах нет ответа.

Правильная доля передач человеку не ноль. Агент, который не передает ничего, отвечает и там, где должен был позвать сотрудника.

За границу отвечает владелец процесса: руководитель отдела решает, что агент закрывает сам, и утверждает правила. Кто еще входит в команду и за что отвечает, описано на странице о структуре ИИ-департамента.

ИИ-агентИИ-агент ИИ-агент это нейросеть, которая не просто отвечает, а сама выполняет задачу по шагам: ищет данные, пользуется программами и проверяет результат. Подробнее в словаре это программа с учетной записью в вашей CRM, телефонии и мессенджерах, которая принимает сообщения от незнакомых людей. Чем шире у нее права, тем дороже обойдется ошибка или чужая инструкция, спрятанная в сообщении.

Правило одно: права только на свой процесс. Агенту продаж хватает заводить и обновлять сделки, писать историю переписки и читать базу знаний. Выгрузка базы клиентов и права администратора ему не нужны.

Что еще проверить:

1. Действия агента пишутся в журнал вашей CRM под его именем.

2. Агент не выполняет команды из входящих сообщений, которые меняют его правила, а передает такие запросы человеку.

3. Ваш администратор может отозвать доступы агента за минуты.

Почему это стало важнее, когда ИИ научился находить уязвимости в чужом коде, разобрано в статье о том, какие права давать ИИ-агенту.

Первые недели агент учится, и ошибки в это время будут. Важно, чтобы они были видны и чинились за день, а не накапливались.

Проверка до запуска: возьмите реальные сообщения клиентов за последнюю неделю, отправьте агенту и оцените каждый ответ по трем вопросам. Правда ли это, по правилам ли, передал ли агент человеку то, что должен.

На пилоте ответственный каждый день просматривает диалоги и правит правила, на это уходит около получаса в день. Прайс и условия агент читает из CRM или 1С, а не из файла, поэтому смена цен не превращается в ошибку.

Ту же проверку повторяйте после каждой смены прайса, правил или модели: прогоните те же сообщения и сравните ответы с прошлым разом. Так ошибка, которую внесла правка, всплывет в тот же день, а не через жалобу.

После запуска работу агента меряют цифрой: доля вопросов, закрытых без человека, доля передач, число исправленных правил. Если цифра падает, это видно в отчете раньше, чем в жалобах клиентов.

На разборе за 30 минут проверим вашего агента по этому списку, даже если его делали не мы.