ММООЗЗГГ.ru

Инструкция

Оценка качества ИИ-агента: как ставить баллы и чем их считать

6 мин10 источников

Оценка качества ИИ-агента отвечает на вопрос, стал ли агент точнее после правки инструкции, модели или базы знаний. По совету Anthropic начинать можно с 20-50 простых задач из реальных ошибок агента: сотни задач на старте не нужны.

На странице · 5 разделов

Нужен разработчик

Чем оценка отличается от теста

Оценка (по-английски eval) это проверка, в которой агент получает задачу, а правило или проверяющий ставит балл его результату. Так ее определяет Anthropic в руководстве по оценке агентов от 9 января 2026 года.

Тест до запуска отвечает на вопрос «можно ли выпускать». Оценка работает постоянно: после каждой правки вы видите в цифрах, выросло качество или упало.

Агента оценивать сложнее, чем чат-бота. Он делает много шагов подряд, вызывает инструменты и меняет данные в ваших системах, поэтому смотрят и на итоговый ответ, и на путь к нему.

Anthropic делит оценки на два вида. Оценки возможностей проверяют, что агент умеет, и на старте дают низкий процент. Регрессионные проверяют, что агент не разучился делать то, что умел, и должны проходить почти всегда.

Набор вопросов и запрещенные ответы для проверки до запуска разобраны на странице о тестировании агента. Здесь речь о том, как ставить баллы и чем их считать.

Кто ставит оценку

Проверяющих три вида, и у каждого своя цена ошибки.

Код. Программа сравнивает ответ с правильным, проверяет формат и то, какой инструмент вызван. Это быстро, дешево и одинаково при каждом запуске, но код не поймет верный ответ, сказанный другими словами.

Модель-судья. Другая модель оценивает ответ по шкале или списку требований. Она гибкая и видит смысл, но ее оценки плавают от запуска к запуску и стоят денег, поэтому судью сверяют с людьми.

Человек. Сотрудник или эксперт читает ответы и ставит оценку. Это эталон, по которому настраивают модель-судью, но он дорогой и медленный.

На практике их сочетают: код проверяет вызовы инструментов и формат, модель-судья тон и полноту ответа, человек выборочно читает диалоги.

Метрики агента

Главная метрика: доля задач, которые агент довел до конца. Записал клиента на верное время, создал сделку с верной суммой, ответил по действующему прайсу.

Вторая: правильность вызова инструментов. Верную ли функцию выбрал агент и верные ли передал параметры. В открытой библиотеке DeepEval для этого есть готовые метрики: выполнение задачи, правильность инструментов, правильность аргументов, лишние шаги.

Третья: стабильность. Модель отвечает по-разному на один и тот же вопрос, поэтому каждую задачу прогоняют несколько раз. Метрика pass^k показывает вероятность, что агент справится во всех k попытках подряд.

Пример из руководства Anthropic: если агент решает задачу в 75% попыток, шанс пройти три попытки подряд около 42%. Агенту, который говорит с клиентами, важна именно эта цифра, а не одна удачная попытка из нескольких.

Еще две метрики: время ответа и стоимость задачи в токенах. Пользу для бизнеса считают отдельно, по конверсии и сделкам.

Открытые инструменты

На первых 20-50 задачах баллы можно считать в таблице. Дальше удобнее открытые программы, которые ставят на свой компьютер или сервер.

promptfoo: программа командной строки и библиотека для оценки и проверки атаками приложений на языковых моделях, лицензия MIT. Оценка запускается локально, задачи и ответы остаются на вашей машине.

Langfuse: платформа для журнала вызовов и оценки агентов, лицензия MIT, кроме папок ee. Ставится на свой сервер через Docker Compose, умеет модель-судью, проверки кодом, ручную разметку и наборы задач.

DeepEval: открытая библиотека оценки на Python, устроенная как модульные тесты, лицензия Apache 2.0. В ней есть метрики для агентов из раздела выше.

Для любой оценки нужна трассировка, то есть журнал всех шагов агента: какой инструмент он вызвал, что получил и что ответил. Без нее непонятно, ошибся агент или проверяющий.

Задачи для оценки берут из реальной переписки, а в ней имена и телефоны клиентов. По 152-ФЗ сбор и хранение данных граждан РФ ведутся в базах в России, поэтому журналы и наборы задач держат на своем сервере или убирают из них персональные данные. Как это устроено у нас, описано на странице о безопасности данных.

Как встроить оценку в работу

1. Соберите 20-50 задач из реальных ошибок агента и запишите для каждой правильный результат.

2. Решите, кто проверяет каждую задачу: код, модель-судья или человек.

3. Прогоните набор до правки и сохраните баллы как точку отсчета.

4. После каждой правки инструкции, модели или базы знаний прогоните набор снова и сравните баллы.

5. Раз в неделю читайте записи нескольких диалогов целиком. Anthropic советует не верить баллам, пока кто-то не прочитал записи: иначе не видно, ошибся агент или проверяющий.

Задачи, которые агент стабильно решает, переводят в регрессионный набор и прогоняют при каждом изменении. Так старая ошибка не вернется незаметно.

Gartner ожидает, что больше 40% проектов агентного ИИ закроют к концу 2027 года, в том числе из-за неясной пользы. Оценка в цифрах отвечает на вопрос о пользе раньше, чем его задаст финансовый директор; на нашем пилоте за 14 дней метрика записана в договоре.

Вопросы и ответы

Можно ли доверять оценке, которую ставит модель?

Только после сверки с людьми. Модель-судья гибкая и дешевле человека, но ее оценки плавают от запуска к запуску. Дайте одни и те же 20-50 ответов судье и сотруднику и сравните: если оценки расходятся, перепишите требования для судьи.

Сколько задач нужно для первой оценки?

Anthropic советует начинать с 20-50 простых задач из реальных ошибок. На раннем этапе каждая правка дает заметный эффект, поэтому маленького набора хватает. Набор растет вместе с агентом: каждая новая ошибка становится новой задачей.

Какую долю решенных задач считать нормой?

Общей нормы нет: порог задает владелец процесса до первой оценки, исходя из цены ошибки. Anthropic советует формулировать критерии успеха конкретно и измеримо и почти всегда оценивать агента сразу по нескольким критериям. Регрессионный набор должен проходить почти всегда, а для агента, который говорит с клиентами, порог ставят по pass^k: при 75% успеха в одной попытке три подряд удаются примерно в 42% случаев.

Какие трудные случаи добавить в набор задач?

Те, на которых агент ошибется в работе. В документации Anthropic названы вопросы не по теме и без нужных данных, очень длинный ввод, грубый или бессмысленный ввод и случаи, где даже люди не согласны друг с другом. Остальной набор повторяет реальную смесь обращений: если чаще всего спрашивают о сроках доставки, таких задач в наборе тоже больше всего.

Можно ли оценивать агента прямо в n8n?

Да, в n8n есть встроенные оценки. Быстрая оценка прогоняет примеры из таблицы по одному: в колонках вход, ожидаемый и фактический ответ. Метрики Correctness и Helpfulness ставят баллы от 1 до 5, Tools Used показывает, вызвал ли агент инструмент. На своем сервере метрики входят в версию Enterprise, а в бесплатной Registered Community их можно включить для одного процесса.

Источники и проверка

Проверено редакцией 16 октября 2026.

  1. Gartner, 25 июня 2025 (gartner.com)
  2. Brace Law Firm, 9 июля 2023 (brace-lf.com)
  3. Anthropic Engineering, 9 января 2026 (anthropic.com)
  4. GitHub, promptfoo/promptfoo, 2026 (github.com)
  5. GitHub, langfuse/langfuse, 2026 (github.com)
  6. GitHub, confident-ai/deepeval, 2026 (github.com)
  7. Claude Docs, Define success criteria, 2026 (platform.claude.com)
  8. Claude Docs, Develop tests, 2026 (platform.claude.com)
  9. n8n Docs, Run quick evaluations, 2026 (docs.n8n.io)
  10. n8n Docs, Use metrics to measure quality, 2026 (docs.n8n.io)

Нашли ошибку? Напишите нам

Публикации

Как создать чат-бот в Максе: инструкция для компании

Чтобы создать чат-бот в Максе, компании нужно пройти четыре шага на платформе MAX для партнеров: проверить профиль организации через Госуслуги, заполнить карточку бота, дождаться модерации до 48 часов по рабочим дням и собрать сценарий в конструкторе или своим кодом. Ниже каждый шаг по документации MAX, проверенной 16 октября 2026 года, а также как связать бота с сайтом, CRM и командой и на чем бо

ИнструкцияИТСредний11 мин
Написать в Telegram