Блог

Почему ИИ-агент отвечает неправильно

Михаил Мозг2 минуты чтения

На разборы часто приходят с уже запущенным агентом, который «выдумывает цены» или «отвечает не по делу». Если ИИ-агент отвечает неправильно, почти всегда причина не в модели, а в одной из шести вещей ниже. Каждую можно починить за дни, а не за проект.

1. Правил нет или они в голове у одного человека

Агент отвечает «по ощущениям», потому что ему не дали прайс, сроки и список того, что обещать нельзя. Чинится за день: записываем правила в том виде, в каком отвечают ваши сильные менеджеры, и даем их агенту.

2. Прайс и условия устарели

Цены поменялись в феврале, агенту об этом не сказали. Чинится подключением к источнику правды: прайс в 1С или CRM, а не в файле трехмесячной давности. И сопровождением, где правки делаются по мере изменений.

3. Учили на выдуманных примерах

Сценарии написаны «как должно быть», а клиенты пишут «как есть»: с опечатками, без артикулов, в три сообщения. Чинится обучением на реальных переписках за месяц.

4. Нет передачи человеку

Агент отвечает на все, включая жалобы и спорные случаи, и там ошибается. Чинится правилом границы: что агент закрывает сам, что передает человеку с историей. Правильная доля передач не ноль.

5. Никто не смотрит диалоги

Первые две недели агент учится, и без человека, который каждый день просматривает диалоги и правит, он закрепляет ошибки. Чинится ответственным с получасом в день на пилоте.

6. Нет сопровождения

Через полгода все вышеперечисленное накапливается. Чинится сопровождением: мониторинг, правки, отчет по метрикам каждый месяц, у нас от 40 000 ₽ в месяц с отказом в любой месяц.

Как проверить агента за час

Возьмите двадцать реальных сообщений клиентов за последнюю неделю, отправьте агенту и оцените каждый ответ по трем пунктам: правда ли, по правилам ли, передал ли человеку то, что должен. Двадцать ответов покажут, какая из шести причин у вас.

Как мы страхуемся от этого на пилоте

Правила записываем в первые три дня и даем агенту в том виде, в каком отвечают ваши сильные менеджеры. Прайс и условия агент читает из CRM или 1С, а не из файла. Учим на реальных переписках за месяц. Границу передачи человеку настраиваем до первого клиента. Ответственный смотрит диалоги каждый день. Сопровождение обсуждаем до конца пилота, а не после первой ошибки.

Ошибки все равно будут в первую неделю, это нормально: агент учится. Важно, чтобы они были видны и чинились за день.

Если агента делали не мы

Если ваш чат-бот отвечает неправильно, пришлите двадцать диалогов, где он ошибся. По ним обычно видно, какая из шести причин, и часто чинится без переделки: правила, источник прайса, граница передачи. Если агент живет на платформе по подписке и не пишет в CRM, честно скажем, где предел его починки и стоит ли переносить процесс.

Коротко

Шесть причин: нет правил, старый прайс, выдуманные примеры, нет передачи человеку, никто не смотрит диалоги, нет сопровождения. Каждая чинится за дни. Проверка за час: двадцать реальных сообщений и три вопроса к каждому ответу.

Что дальше

Разбор за 30 минут: проверим вашего агента по этому списку, даже если его делали не мы.

Пилот на 14 дней: как мы запускаем агента без этих ошибок
Михаил Мозг

Михаил Мозг

Основатель MMOOZZGG, ИИ-директор

Подробнее о Михаиле@mmoozzggru

Контакты

Разберем ваш бизнес за 30 минут

Посчитаем, какой отдел может окупиться первым и сколько он стоит. Бесплатно.

Telegram

@mmoozzggru

Ответим в течение рабочего дня. Все контакты

Написать в Telegram