Почему противоречивые данные агенту попадаются каждый день
По моему опыту, противоречия в данных компании возникают каждый день: ее источники спорили друг с другом и раньше, просто их никто не сверял. Обзор исследований Сюй Жунъу и соавторов на arXiv (13 марта 2024) делит конфликты знаний у языковых моделейбольшая языковая модель. Большая языковая модель (LLM) это нейросеть, обученная на огромном объеме текстов, которая пишет, пересказывает и разбирает текст по запросу. на три вида. Документ спорит с памятью модели, документы спорят между собой, а память противоречит сама себе.
Противоречивыми я называю данные, где у одного факта два значения из разных источников, например две цены товара. Я не встречал системы, где прайс, база знанийбаза знаний для ИИ. База знаний для ИИ это отобранные и подготовленные документы компании, по которым ИИ-ассистент ищет ответы: регламенты, инструкции, каталог, ответы на частые вопросы. и переписка с клиентами совпадали бы во всем. По оценке авторов обзора, такие конфликты могут заметно снижать надежность моделей, особенно в реальной работе с шумом и дезинформациейдезинформация и ИИ. Дезинформация и ИИ это использование нейросетей для массового создания ложных новостей, фальшивых отзывов, поддельных видео и голосов, которые выдают за правду..
Поэтому я не жду, что агент угадает правду по памяти. Anthropic (19 декабря 2024) называет решающим, чтобы он на каждом шаге получал сведения из среды: результат вызова инструмента или выполнения кода. Ему нужно видеть, откуда пришло каждое значение и какого оно числа.
В книге «Как не стать Банкротом!?» я писал о проверке слишком хороших предложений: «Опираясь на проверенную информацию, мы снижаем вероятность попасть в ловушку». С агентом так же, только проверять приходится каждую цифру. Другие причины его ошибок собраны в разборе «Почему ИИ-агент отвечает неправильно».
Мое правило: агент выбирает источник сам, только если ошибку дешево исправить
Агент решает сам, когда выполнены три условия: ошибку можно отменить без потерь, у обоих источников есть дата и владелец, а их старшинство записано заранее. Это мое правило, а не требование стандарта. Старшинство я задаю так: договор старше письма, учетная система старше базы знаний, а при одном владельце новое старше старого. Свой выбор он записывает: что взял, что отбросил и почему.
| Признак | Решает сам | Зовет человека |
|---|---|---|
| Цена ошибки | Мала: черновик, внутренняя заметка | Деньги, клиент, договор, закон |
| Действие | Можно отменить | Нельзя отменить: платеж, письмо, удаление |
| Источники | У обоих есть дата и владелец | Даты или владельца нет |
| Старшинство | Записано заранее | Не записано или спорно |
Порог я ставлю по стоимости ошибки, потому что, по той же статье Anthropic, автономность означает более высокие затраты и риск накопления ошибок. Отсюда ее совет: обширные тесты в изолированной среде и ограничителиограничители. Ограничители (guardrails) это проверки и правила вокруг языковой модели, которые не пускают в нее опасные запросы и не выпускают из нее недопустимые ответы и действия..
Статья 14 Регламента (ЕС) 2024/1689 об искусственном интеллекте в консолидированном тексте на 27 июля 2026 касается только систем высокого риска. Она требует проектировать их так, чтобы люди могли надзирать за ними. Надзор она велит соразмерять с рисками, уровнем автономности и условиями использования, по тексту на сайте Службы поддержки Еврокомиссии. Для российской компании это чужое право, поэтому я использую ее как ориентир, а не как обязанность. Мысль в ней полезная: чем дороже ошибка, тем ближе человек.
В книге я писал о руководителях: «Способность принимать сложные решения важна при отсутствии четких данных или гарантированных итогов». Такие решения я агенту не отдаю: ему остаются задачи с записанным правилом. Пример на документах компании есть в разборе об агенте с базой знаний.
Когда агент обязан остановиться и отдать вопрос человеку
Агент останавливается, когда от выбора зависят деньги, клиент, договор или закон, и всегда перед действием, которое нельзя отменить. По моему правилу его останавливают и другие признаки: у источника нет даты или владельца, либо повторный прогон дал другой ответ. Спецификация MCPMCP. MCP (Model Context Protocol) это открытый стандарт, через который ИИ-приложения подключаются к инструментам и данным: файлам, CRM, базам, сервисам., протокола подключения к данным и инструментам (редакция от 18 июня 2025), называет ключевым принципом явное согласие пользователя перед вызовом любого инструмента. Сам протокол этого обеспечить не может: процесс согласия встраивают разработчики приложения.
Для систем высокого риска статья 14 Регламента ЕС об ИИAI Act. AI Act это регламент Европейского союза 2024/1689 об искусственном интеллекте, который делит ИИ-системы по уровню риска и задает требования к каждому уровню. (текст на 27 июля 2026) требует, чтобы человек мог проигнорировать или развернуть их вывод. Еще он должен уметь остановить систему кнопкой «стоп» в безопасном состоянии.
Пусть сомнения станут сигналом быть внимательнее, а не поводом игнорировать тревогу.
В той же книге я советовал проверять партнеров: «Проверяйте все: документы, контакты, отзывы, домены. Если что-то смущает, лучше остановиться и подумать, чем потом сожалеть». К агенту я отношусь так же: остановка стоит минут, а письмо клиенту с неверной ценой стоит денег и доверия. Принцип описан в статье «Что такое человек в контуре».
Что агент кладет на стол человеку вместе с вопросом
Вместе с вопросом агент кладет на стол пять вещей, и человеку не приходится заново искать источники. Руководство Google People + AI советует то же при передаче управления от ИИ человеку: у человека должна быть вся нужная информация. Мой набор такой:
- оба значения, без округления и пересказа;
- источник каждого значения с его датой;
- дословная цитата из каждого источника;
- свой вариант и причина выбора;
- цена ошибки: что случится, если выбрать неверно.
Цитата избавляет человека от повторной работы. Документация Claude от Anthropic советует просить модель подкреплять каждое утверждение цитатой и снимать утверждение, для которого цитаты нет.
Я требую показывать вариант вместе с сомнением. Статья 14 Регламента ЕС об ИИ (текст на 27 июля 2026) называет риск предвзятости автоматизации: склонность чрезмерно полагаться на вывод системы. По-моему, если ответ всегда звучит уверенно, его со временем перестают проверять.
Решение человека идет в журнал: противоречие, выбор, причина. По журналу правило старшинства переписывают, и я жду, что одинаковых вопросов со временем станет меньше. Как вести журнал, описано в разборе о тестировании ИИ-агента. Открытое сомнение полезнее уверенной ошибки.
А какое противоречие в ваших данных агент встретит первым: цена, срок в договоре или контакт клиента?

