Чем оценка отличается от теста
Оценка (по-английски eval) это проверка, в которой агент получает задачу, а правило или проверяющий ставит балл его результату. Так ее определяет Anthropic в руководстве по оценке агентов от 9 января 2026 года.
Тест до запуска отвечает на вопрос «можно ли выпускать». Оценка работает постоянно: после каждой правки вы видите в цифрах, выросло качество или упало.
Агента оценивать сложнее, чем чат-ботачат-бот. Чат-бот это программа, которая переписывается с человеком в окне чата: на сайте, в мессенджере или в приложении.. Он делает много шагов подряд, вызывает инструменты и меняет данные в ваших системах, поэтому смотрят и на итоговый ответ, и на путь к нему.
Anthropic делит оценки на два вида. Оценки возможностей проверяют, что агент умеет, и на старте дают низкий процент. Регрессионные проверяют, что агент не разучился делать то, что умел, и должны проходить почти всегда.
Набор вопросов и запрещенные ответы для проверки до запуска разобраны на странице о тестировании агента. Здесь речь о том, как ставить баллы и чем их считать.
Кто ставит оценку
Проверяющих три вида, и у каждого своя цена ошибки.
Код. Программа сравнивает ответ с правильным, проверяет формат и то, какой инструмент вызван. Это быстро, дешево и одинаково при каждом запуске, но код не поймет верный ответ, сказанный другими словами.
Модель-судьяLLM как судья. LLM как судья (LLM-as-a-judge) это способ оценивать ответы нейросетей с помощью другой языковой модели, которая ставит баллы по заданным критериям или выбирает более удачный из двух ответов.. Другая модель оценивает ответ по шкале или списку требований. Она гибкая и видит смысл, но ее оценки плавают от запуска к запуску и стоят денег, поэтому судью сверяют с людьми.
Человек. Сотрудник или эксперт читает ответы и ставит оценку. Это эталон, по которому настраивают модель-судью, но он дорогой и медленный.
На практике их сочетают: код проверяет вызовы инструментоввызов функций. Вызов функций (function calling) это способ, которым языковая модель просит программу выполнить действие: модель выбирает функцию и заполняет ее параметры, а код приложения выполняет запрос и возвращает результат. и формат, модель-судья тон и полноту ответа, человек выборочно читает диалоги.
Метрики агента
Главная метрика: доля задач, которые агент довел до конца. Записал клиента на верное время, создал сделку с верной суммой, ответил по действующему прайсу.
Вторая: правильность вызова инструментов. Верную ли функцию выбрал агент и верные ли передал параметры. В открытой библиотеке DeepEval для этого есть готовые метрики: выполнение задачи, правильность инструментов, правильность аргументов, лишние шаги.
Третья: стабильность. Модель отвечает по-разному на один и тот же вопрос, поэтому каждую задачу прогоняют несколько раз. Метрика pass^k показывает вероятность, что агент справится во всех k попытках подряд.
Пример из руководства Anthropic: если агент решает задачу в 75% попыток, шанс пройти три попытки подряд около 42%. Агенту, который говорит с клиентами, важна именно эта цифра, а не одна удачная попытка из нескольких.
Еще две метрики: время ответа и стоимость задачи в токенахтокен. Токен это кусочек текста: слово, часть слова или знак, с которыми работает языковая модель.. Пользу для бизнеса считают отдельно, по конверсии и сделкам.
Открытые инструменты
На первых 20-50 задачах баллы можно считать в таблице. Дальше удобнее открытые программы, которые ставят на свой компьютер или сервер.
promptfoo: программа командной строки и библиотека для оценки и проверки атаками приложений на языковых моделяхбольшая языковая модель. Большая языковая модель (LLM) это нейросеть, обученная на огромном объеме текстов, которая пишет, пересказывает и разбирает текст по запросу., лицензия MIT. Оценка запускается локально, задачи и ответы остаются на вашей машине.
Langfuse: платформа для журнала вызовов и оценки агентов, лицензия MIT, кроме папок ee. Ставится на свой сервер через Docker Compose, умеет модель-судью, проверки кодом, ручную разметку и наборы задач.
DeepEval: открытая библиотека оценки на Python, устроенная как модульные тесты, лицензия Apache 2.0. В ней есть метрики для агентов из раздела выше.
Для любой оценки нужна трассировка, то есть журнал всех шагов агента: какой инструмент он вызвал, что получил и что ответил. Без нее непонятно, ошибся агент или проверяющий.
Задачи для оценки берут из реальной переписки, а в ней имена и телефоны клиентов. По 152-ФЗ сбор и хранение данных граждан РФ ведутся в базах в России, поэтому журналы и наборы задач держат на своем сервере или убирают из них персональные данные. Как это устроено у нас, описано на странице о безопасности данных.
Как встроить оценку в работу
1. Соберите 20-50 задач из реальных ошибок агента и запишите для каждой правильный результат.
2. Решите, кто проверяет каждую задачу: код, модель-судья или человек.
3. Прогоните набор до правки и сохраните баллы как точку отсчета.
4. После каждой правки инструкции, модели или базы знанийбаза знаний для ИИ. База знаний для ИИ это отобранные и подготовленные документы компании, по которым ИИ-ассистент ищет ответы: регламенты, инструкции, каталог, ответы на частые вопросы. прогоните набор снова и сравните баллы.
5. Раз в неделю читайте записи нескольких диалогов целиком. Anthropic советует не верить баллам, пока кто-то не прочитал записи: иначе не видно, ошибся агент или проверяющий.
Задачи, которые агент стабильно решает, переводят в регрессионный набор и прогоняют при каждом изменении. Так старая ошибка не вернется незаметно.
Gartner ожидает, что больше 40% проектов агентного ИИагентный ИИ. Агентный ИИ это подход, при котором нейросеть получает цель и сама ведет работу к результату: планирует шаги, вызывает программы и проверяет, что получилось. закроют к концу 2027 года, в том числе из-за неясной пользы. Оценка в цифрах отвечает на вопрос о пользе раньше, чем его задаст финансовый директор; на нашем пилоте за 14 дней метрика записана в договоре.