Как считать конверсию ИИ-агента: 5 метрик

Медиана, а не среднее: одно письмо, отвеченное через три дня, портит среднее, а медиана показывает, что видит обычный клиент. Измеряется в CRM или мессенджере до пилота за месяц и во время пилота. Это первая победа агента: минута вместо часов.

Сколько диалогов агент довел до результата сам: ответил, записал, завел сделку. Считать только те, где клиент не написал повторно тот же вопрос. Для поддержки наш ориентир с главной 80% типовых вопросов, точную долю для вашего процесса показывает пилот.

Главная метрика для продаж. До агента менеджеры заводят в CRM часть заявок, остальные живут в чатах. После агента каждая квалифицированная заявка это сделка с историей. Считается как отношение сделок к обращениям.

Не чем меньше, тем лучше. Слишком низкая доля значит, что агент берется за то, что не должен, слишком высокая, что правила не описаны. На пилоте эта цифра обычно снижается к концу второй недели, и это нормально.

Сколько сделок из заявок, обработанных агентом, дошли до оплаты. Считается позже всех, потому что цикл сделки длиннее пилота. Поэтому в договоре метрика пилота это первые четыре, а деньги смотрим через месяц-два.

Если вы решаете, как оценить эффективность чат-бота или агента, начните с того, что брать в расчет не стоит. «Количество диалогов»: агент может вести тысячи бесполезных. «Довольство клиентов» по кнопке «оцените ответ»: нажимают единицы. «Экономия времени» без коэффициента 1,3 и без вычета сопровождения. Проверяйте, чем подрядчик отчитывается, до подписания.

Возьмите переписки за месяц и посчитайте медиану времени ответа и долю заявок в CRM руками или выгрузкой. Это займет час, и это единственный способ потом честно сказать, что изменилось. Мы делаем это в первые три дня пилота вместе с вами.

В отчете три столбца по каждой метрике: месяц до пилота, первая неделя, последние пять дней. Первые дни не считаем, агент учится. Пример структуры без цифр: медиана времени до ответа; доля обращений, закрытых без человека; доля обращений в CRM; доля передач человеку и их причины по группам; сделки из обращений агента на дату отчета. Под отчетом список правок за две недели: что изменили в правилах и почему.

Этот же отчет становится основой сопровождения: каждый месяц те же пять цифр, чтобы было видно, растет агент или деградирует.

Считают метрику по всем обращениям, включая те, которые агенту не отдавали. Если жалобы и спорные случаи по правилам идут людям, они не должны портить долю «закрытых без человека». Считайте по тем группам обращений, которые агент ведет, и отдельно показывайте, сколько ушло людям и почему. Так цифра честная и сравнимая от месяца к месяцу.

Пять метрик: медиана времени до ответа, доля закрытых без человека, доля обращений в CRM, доля передач человеку, сделки. Измерьте их до старта по переписке за месяц, запишите первые четыре в договор, деньги смотрите через месяц-два. Не верьте количеству диалогов и оценкам по кнопке.