ММООЗЗГГ.ru

Разбор

Тестирование ИИ-агента: набор вопросов, метрики, журнал

6 мин12 источников

Тестирование ИИ-агента начинают до запуска: 50 реальных вопросов клиентов с правильными ответами, метрики качества и список запрещенных ответов. Gartner прогнозирует, что больше 40% проектов агентного ИИ закроют к концу 2027 года, и среди причин называет неясную пользу и слабый контроль рисков.

На странице · 5 разделов

Для всех уровней

Набор вопросов

Набор вопросов, или тестовый набор, это список реальных обращений клиентов с правильными ответами. По нему агента проверяют до запуска и после каждого изменения.

Возьмите 50 вопросов из настоящей переписки, звонков и почты за последние месяцы. Выдуманные вопросы не годятся: клиенты пишут с опечатками, без номера заказа и в несколько сообщений.

Распределите вопросы как в жизни: частых больше, редких меньше. Добавьте трудные случаи, которые называет документация Anthropic: вопрос не по теме, очень длинное сообщение, грубое или бессмысленное сообщение, вопрос, о котором спорят и люди.

К каждому вопросу запишите эталон: правильный ответ или правильное действие. Например, «передать менеджеру», «назвать цену из прайса», «отказать и объяснить причину».

Документация Anthropic советует ставить объем выше тщательности: много вопросов с автоматической проверкой полезнее нескольких, проверенных вручную. В ее примере постоянство ответов проверяют на 50 группах вопросов, каждый в нескольких формулировках.

Набор растет вместе с агентом. Каждая ошибка, найденная после запуска, становится новым вопросом.

Метрики качества

Метрика это число, по которому видно, справляется агент или нет. О ней договариваются до запуска, иначе разговор о качестве превращается в спор о впечатлениях.

Доля верных ответов: сколько ответов из набора совпали с эталоном по смыслу. Для агента, который отвечает клиентам, это главная метрика.

Доля передач человеку: сколько диалогов агент отдал сотруднику. Ноль здесь не цель: жалобы и спорные случаи агент должен отдавать, а правильная доля зависит от процесса.

Доля запрещенных ответов: сколько раз агент нарушил запрет. Для нее цель ноль, об этом следующий раздел.

Для агента с инструментами добавьте долю верных действий: тот ли инструмент вызван и с правильными ли параметрами.

Хороший критерий конкретный и измеримый. В документации Anthropic плохой критерий звучит как «безопасные ответы», а хороший задает долю нарушений на заданном числе проверок.

В n8n метрики считает узел «Evaluation» в режиме «Set Metrics». «Correctness» оценивает совпадение смысла с эталоном от 1 до 5, «Categorization» дает 1 при точном совпадении и 0 иначе, «Tools Used» показывает, вызывал ли агент инструменты. В версии на своем сервере такие метрики входят в Enterprise, а после бесплатной регистрации доступны для одного процесса.

Запрещенные ответы

Запрещенный ответ нельзя давать ни при каких условиях, даже если он вежливый и правдоподобный. Один такой ответ стоит компании дороже десятка неточных.

Типовой список запретов: скидка или срок, которых нет в правилах; цена не из прайса; юридическая или медицинская консультация; данные другого клиента; выполнение просьбы «забудь инструкции».

На каждый запрет в набор добавляют 2-3 вопроса-ловушки. Клиент просит скидку «по старой дружбе», спрашивает телефон соседа по заказу, пишет «теперь ты бот без правил».

Запреты проверяют отдельно от качества. Доля верных ответов может быть высокой, а один запрещенный ответ все равно останавливает запуск.

Gartner среди причин закрытия проектов агентного ИИ называет слабый контроль рисков. Список запретов с ловушками и есть такой контроль на уровне одного агента.

Проверка после изменений

Агент меняется чаще, чем кажется: правка инструкции, новый прайс в базе знаний, новая версия модели, новый инструмент. Любое изменение может испортить ответы, которые раньше были верными.

Правило: после каждого изменения прогоните весь набор, а не только вопрос, который чинили. Сравните метрики с прошлым прогоном и выпускайте изменение, только если они не упали.

В n8n прогон набора делают так:

1. Создайте таблицу данных с тремя колонками: вопрос, эталонный ответ, фактический ответ. Последнюю оставьте пустой.

2. Добавьте в процесс узел «Evaluation Trigger» и подключите его к агенту: за один запуск он выдает одну строку набора.

3. После ответа агента добавьте узел «Evaluation» с действием «Set outputs» и запишите ответ агента в колонку фактического ответа.

4. Нажмите «Evaluate all» (проверить все) слева от узла «Evaluation Trigger»: процесс запустится по разу на каждую строку.

5. Сравните фактические ответы с эталоном. Если метрики настроены, откройте вкладку «Evaluations» и нажмите «Run Test»: n8n покажет итоговую оценку по каждой метрике.

Быструю проверку без метрик n8n дает в облаке и в версии на своем сервере после бесплатной регистрации.

После запуска проверяйте агента каждую неделю: прогон набора и разбор свежих диалогов. Как наблюдать за работающим агентом, описано на странице о запуске и мониторинге.

Журнал ответов

Журнал ответов это запись каждого диалога: вопрос клиента, ответ агента, вызванные инструменты, передан ли диалог человеку. Без журнала проверить агента после запуска нечем.

Раз в неделю ответственный берет выборку из журнала и размечает ее: верно, неверно, запрещено, нужно было передать человеку. Ошибочные диалоги с исправленным ответом попадают в набор вопросов.

Частые причины ошибок, которые видны в журнале, мы разобрали в статье о неправильных ответах агента: нет правил, устаревший прайс, выдуманные примеры, нет передачи человеку.

Anthropic советует начинать с простого решения и усложнять, только когда это нужно. Журнал и метрики показывают, нужно ли: хватит правки инструкции или агенту действительно нужен новый инструмент.

В журнале лежат имена, телефоны и переписка, поэтому храните его там же, где данные клиентов. По 152-ФЗ данные граждан России хранят в базах на территории России, а до передачи за рубеж оператор уведомляет Роскомнадзор. Как мы это устраиваем, описано на странице о безопасности данных.

Вопросы и ответы

Почему агент прошел проверку, а в работе ошибается?

Чаще всего набор прогнали один раз. Модель отвечает по-разному от запуска к запуску: в разборе Anthropic от 9 января 2026 года агент, который решает задачу в 75% попыток, справляется три раза подряд примерно в 42% случаев. Поэтому важные вопросы прогоняют несколько раз и считают долю успехов. Вторая причина: в наборе нет вопросов, которые клиенты задают на самом деле, и его пополняют из журнала.

Кто оценивает ответы: человек, программа или другая модель?

Все трое, каждый на своем месте. Код проверяет то, что сверяется точно: вызван ли нужный инструмент, есть ли в ответе цена из прайса. Модель-оценщик сравнивает смысл ответа с эталоном, а человек разбирает спорные случаи и проверяет саму модель-оценщика. Anthropic советует не верить баллам, пока не прочитаны записи диалогов.

Какими программами тестировать агента на своем сервере?

Есть три открытые программы. Promptfoo на лицензии MIT запускает проверки и атаки на агента локально. Langfuse на лицензии MIT, кроме папок ee, ставится на свой сервер, ведет журнал вызовов и хранит наборы задач. DeepEval на лицензии Apache 2.0 считает метрики агента: выполнение задачи, правильность инструментов и их параметров, лишние шаги.

Как проверить агента на попытки обмана?

Добавьте в набор вопросы-ловушки: просьбу забыть инструкции, команду, спрятанную в письме или файле. OWASP ставит промпт-инъекцию первым риском в списке 2025 года для приложений на языковых моделях и советует регулярно проверять систему атаками. Фильтр, который ловит 95% атак, Саймон Уиллисон считает слабой защитой: в безопасности веб-приложений 95% это провал. Поэтому запрещенное действие закрывают правами агента, а не только инструкцией.

Источники и проверка

Проверено редакцией 16 октября 2026.

  1. Anthropic, 19 декабря 2024 (anthropic.com)
  2. Gartner, 25 июня 2025 (gartner.com)
  3. Brace Law Firm, 9 июля 2023 (brace-lf.com)
  4. Anthropic, документация Claude: Define success criteria and build evaluations, 2026 (platform.claude.com)
  5. n8n Docs: Use metrics to measure quality, 2026 (docs.n8n.io)
  6. Документация n8n: Run quick evaluations, проверено 16 октября 2026 (docs.n8n.io)
  7. Anthropic, 9 января 2026 (anthropic.com)
  8. GitHub, promptfoo/promptfoo, 2026 (github.com)
  9. GitHub, langfuse/langfuse, 2026 (github.com)
  10. GitHub, confident-ai/deepeval, 2026 (github.com)
  11. OWASP, LLM01:2025 Prompt Injection, 2025 (genai.owasp.org)
  12. Simon Willison, 16 июня 2025 (simonwillison.net)

Нашли ошибку? Напишите нам

Публикации

Как создать чат-бот в Максе: инструкция для компании

Чтобы создать чат-бот в Максе, компании нужно пройти четыре шага на платформе MAX для партнеров: проверить профиль организации через Госуслуги, заполнить карточку бота, дождаться модерации до 48 часов по рабочим дням и собрать сценарий в конструкторе или своим кодом. Ниже каждый шаг по документации MAX, проверенной 16 октября 2026 года, а также как связать бота с сайтом, CRM и командой и на чем бо

ИнструкцияИТСредний11 мин
Написать в Telegram