Блог
Почему ИИ-агент отвечает неправильно
Михаил Мозг2 минуты чтения
На разборы часто приходят с уже запущенным агентом, который «выдумывает цены» или «отвечает не по делу». Если ИИ-агент отвечает неправильно, почти всегда причина не в модели, а в одной из шести вещей ниже. Каждую можно починить за дни, а не за проект.
1. Правил нет или они в голове у одного человека
Агент отвечает «по ощущениям», потому что ему не дали прайс, сроки и список того, что обещать нельзя. Чинится за день: записываем правила в том виде, в каком отвечают ваши сильные менеджеры, и даем их агенту.
2. Прайс и условия устарели
Цены поменялись в феврале, агенту об этом не сказали. Чинится подключением к источнику правды: прайс в 1С или CRM, а не в файле трехмесячной давности. И сопровождением, где правки делаются по мере изменений.
3. Учили на выдуманных примерах
Сценарии написаны «как должно быть», а клиенты пишут «как есть»: с опечатками, без артикулов, в три сообщения. Чинится обучением на реальных переписках за месяц.
4. Нет передачи человеку
Агент отвечает на все, включая жалобы и спорные случаи, и там ошибается. Чинится правилом границы: что агент закрывает сам, что передает человеку с историей. Правильная доля передач не ноль.
5. Никто не смотрит диалоги
Первые две недели агент учится, и без человека, который каждый день просматривает диалоги и правит, он закрепляет ошибки. Чинится ответственным с получасом в день на пилоте.
6. Нет сопровождения
Через полгода все вышеперечисленное накапливается. Чинится сопровождением: мониторинг, правки, отчет по метрикам каждый месяц, у нас от 40 000 ₽ в месяц с отказом в любой месяц.
Как проверить агента за час
Возьмите двадцать реальных сообщений клиентов за последнюю неделю, отправьте агенту и оцените каждый ответ по трем пунктам: правда ли, по правилам ли, передал ли человеку то, что должен. Двадцать ответов покажут, какая из шести причин у вас.
Как мы страхуемся от этого на пилоте
Правила записываем в первые три дня и даем агенту в том виде, в каком отвечают ваши сильные менеджеры. Прайс и условия агент читает из CRM или 1С, а не из файла. Учим на реальных переписках за месяц. Границу передачи человеку настраиваем до первого клиента. Ответственный смотрит диалоги каждый день. Сопровождение обсуждаем до конца пилота, а не после первой ошибки.
Ошибки все равно будут в первую неделю, это нормально: агент учится. Важно, чтобы они были видны и чинились за день.
Если агента делали не мы
Если ваш чат-бот отвечает неправильно, пришлите двадцать диалогов, где он ошибся. По ним обычно видно, какая из шести причин, и часто чинится без переделки: правила, источник прайса, граница передачи. Если агент живет на платформе по подписке и не пишет в CRM, честно скажем, где предел его починки и стоит ли переносить процесс.
Коротко
Шесть причин: нет правил, старый прайс, выдуманные примеры, нет передачи человеку, никто не смотрит диалоги, нет сопровождения. Каждая чинится за дни. Проверка за час: двадцать реальных сообщений и три вопроса к каждому ответу.
Что дальше
Разбор за 30 минут: проверим вашего агента по этому списку, даже если его делали не мы.
Пилот на 14 дней: как мы запускаем агента без этих ошибок
Еще статьи
- Блог
Чем ИИ-агент отличается от чат-бота: 5 отличий на примерах
3 минуты чтения - Новости
Аптека.ру отдала ИИ ответы покупателям: плюс 77% к конверсии на тесте и жесткие запреты для ассистента
3 минуты чтения - Новости
Wildberries дал продавцам ИИ-автоответы на отзывы: что это меняет для магазина
3 минуты чтения
Контакты
Разберем ваш бизнес за 30 минут
Посчитаем, какой отдел может окупиться первым и сколько он стоит. Бесплатно.