Как оценить эффективность внедрения ИИ, если метрики не было до старта

По отчету MIT NANDA 2025 года 95% организаций не получили измеримой отдачи от генеративного ИИгенеративный ИИ Генеративный ИИ (generative AI) это нейросети, которые создают новый контент: тексты, изображения, музыку, видео и программный код по описанию на обычном языке. Подробнее в словаре. Слово «измеримой» здесь главное: без замера даже работающий ИИ выглядит как расход.

Типичная картина: систему запустили, сотрудники говорят, что стало удобнее, а финансовый директор не видит изменений в отчетах. Через полгода проект закрывают как дорогой.

Первая причина: успех мерили тем, что система запущена. Запуск говорит о работе подрядчика, а не о деньгах компании.

Вторая причина: метрику выбрали после старта. Тогда нет точки «до», и любую цифру можно объяснить сезоном, новым менеджером или рекламой.

Третья причина: метрик слишком много. Отчет из двадцати показателей никто не читает, и решений по нему не принимают.

Одна метрика на один процесс. Если метрик пять, по одной будет рост, по другой падение, и спор не закончится.

Метрика должна считаться в вашей системе без ручного подсчета: в CRM, в системе записи, в телефонии. Иначе цифру будут оспаривать.

Метрика должна зависеть от ИИ. Выручка компании зависит от сезона, цен и рекламы, поэтому на пилоте ее не меряют. Время ответа на заявку зависит от агента напрямую.

Примеры для типовых процессов. Заявки: время до первого ответа и доля заявок, заведенных в CRM; запись: доля обращений, которые закончились записью без администратора; поддержка: доля вопросов, закрытых без оператора.

Каждую такую метрику переводят в рубли. Время ответа влияет на долю заявок, которые доходят до сделки. Вопросы без оператора превращаются в часы сотрудников, а часы умножаются на зарплату с налогами.

Как посчитать эффект в рублях по каждому решению, вместе с вложениями и сроком окупаемости, разобрано в материале про расчет эффекта.

Метрика в презентации ни к чему не обязывает. Метрика в договоре обязывает обе стороны: подрядчик знает, за что отвечает, вы знаете, что принимаете.

В договор записывают три вещи: какую цифру меряем, какое у нее значение сейчас и в какой системе она считается. Значение «сейчас» замеряют до старта, в вашей же системе.

Дату проверки тоже записывают в договор. Без даты проверка откладывается, а проект продолжает получать деньги.

Так устроен наш пилот: один ИИ-агентИИ-агент ИИ-агент это нейросеть, которая не просто отвечает, а сама выполняет задачу по шагам: ищет данные, пользуется программами и проверяет результат. Подробнее в словаре на одном процессе, от 150 000 ₽, 14 дней, метрика в договоре. Что входит и как выбираем метрику, подробно в статье о пилоте ИИ-агента.

Если подрядчик отказывается записывать метрику, это сигнал: он не уверен в результате или не понимает ваш процесс.

В конце пилота вы получаете отчет с тремя числами: метрика до старта, метрика в последние дни пилота, когда агент уже обучен, и доля случаев, которые агент передал человеку.

Первые дни пилота в расчет не идут: агент учится на ваших правилах и переписках, и цифра в начале занижена.

Третье число важно не меньше первых двух. Если агент передает людям большую часть обращений, метрика может вырасти за счет людей, а не ИИ. Доля передач показывает, сколько работы на самом деле ушло агенту.

Отчет читают первое лицо и финансовый директор, поэтому числа в нем идут в рублях и процентах, без технических терминов.

По трем числам решение принимают за один разговор: оставить агента, расширить его на другие процессы или остановиться. Дальше эти метрики ведет ИИ-департаментИИ-департамент ИИ-департамент это люди и правила внутри компании, которые отвечают за искусственный интеллект: кто выбирает решения, кто следит за данными и рисками, кто считает эффект. Подробнее в словаре компании, как это устроено, описано на странице про KPI внедрения ИИ.

Неудачный пилот с метрикой полезнее удачного без нее: вы знаете, почему не получилось, и потратили на это 14 дней, а не год.

Причину видно в диалогах агента. Обычно их три: агенту не хватило сведений для ответов, процесс оказался не таким, как его описали, или сотрудники не отдавали агенту обращения.

Если не хватило сведений, дополняют базу знанийбаза знаний для ИИ База знаний для ИИ это отобранные и подготовленные документы компании, по которым ИИ-ассистент ищет ответы: регламенты, инструкции, каталог, ответы на частые вопросы. Подробнее в словаре и правила. Если процесс другой, выбирают процесс, где потери больше и метрика считается проще. Если люди обходят агента, вопрос к ответственному и к обучению, а не к технологии.

Не продлевайте пилот в надежде, что цифра вырастет сама. Если за срок пилота метрика не сдвинулась, продление обычно лишь откладывает тот же вывод.

Если окупаемости нет, мы пишем это в отчете. После пилота три варианта: остановиться, оставить агента на сопровождении от 40 000 ₽ в месяц с отказом в любой месяц или собрать ИИ-отделИИ-отдел ИИ-отдел это команда ИИ-агентов, которые вместе ведут процесс компании: каждый агент выполняет свою роль, а человек задает правила и проверяет важные решения. Подробнее в словаре из 3–5 агентов.