ММООЗЗГГ.ru

Агенту попались противоречивые данные: мое правило, когда он решает сам, а когда зовет человека

СтатьяИТ

Средний6 мин11 источников

По моему опыту, противоречивые данные агент встречает в любой компании, и это не сбой. Мое правило: он выбирает источник сам, только когда ошибку дешево исправить. Если на кону деньги, клиент, договор или действие, которое нельзя отменить, он останавливается и приносит человеку оба значения. Я 20 лет руководил разработкой для Walmart, Disney, Apple и Microsoft. Это правило я сверяю с руководствами Anthropic, Microsoft и Google.

Сосна в снегу над прудом, а в воде отражается та же сосна летом, зеленая; следы на снегу обрываются у кромки воды: у одного факта два значения.
На странице · 4 раздела

Почему противоречивые данные агенту попадаются каждый день

По моему опыту, противоречия в данных компании возникают каждый день: ее источники спорили друг с другом и раньше, просто их никто не сверял. Обзор исследований Сюй Жунъу и соавторов на arXiv (13 марта 2024) делит конфликты знаний у языковых моделей на три вида. Документ спорит с памятью модели, документы спорят между собой, а память противоречит сама себе.

Противоречивыми я называю данные, где у одного факта два значения из разных источников, например две цены товара. Я не встречал системы, где прайс, база знаний и переписка с клиентами совпадали бы во всем. По оценке авторов обзора, такие конфликты могут заметно снижать надежность моделей, особенно в реальной работе с шумом и дезинформацией.

Поэтому я не жду, что агент угадает правду по памяти. Anthropic (19 декабря 2024) называет решающим, чтобы он на каждом шаге получал сведения из среды: результат вызова инструмента или выполнения кода. Ему нужно видеть, откуда пришло каждое значение и какого оно числа.

В книге «Как не стать Банкротом!?» я писал о проверке слишком хороших предложений: «Опираясь на проверенную информацию, мы снижаем вероятность попасть в ловушку». С агентом так же, только проверять приходится каждую цифру. Другие причины его ошибок собраны в разборе «Почему ИИ-агент отвечает неправильно».

Мое правило: агент выбирает источник сам, только если ошибку дешево исправить

Агент решает сам, когда выполнены три условия: ошибку можно отменить без потерь, у обоих источников есть дата и владелец, а их старшинство записано заранее. Это мое правило, а не требование стандарта. Старшинство я задаю так: договор старше письма, учетная система старше базы знаний, а при одном владельце новое старше старого. Свой выбор он записывает: что взял, что отбросил и почему.

ПризнакРешает самЗовет человека
Цена ошибкиМала: черновик, внутренняя заметкаДеньги, клиент, договор, закон
ДействиеМожно отменитьНельзя отменить: платеж, письмо, удаление
ИсточникиУ обоих есть дата и владелецДаты или владельца нет
СтаршинствоЗаписано заранееНе записано или спорно

Порог я ставлю по стоимости ошибки, потому что, по той же статье Anthropic, автономность означает более высокие затраты и риск накопления ошибок. Отсюда ее совет: обширные тесты в изолированной среде и ограничители.

Статья 14 Регламента (ЕС) 2024/1689 об искусственном интеллекте в консолидированном тексте на 27 июля 2026 касается только систем высокого риска. Она требует проектировать их так, чтобы люди могли надзирать за ними. Надзор она велит соразмерять с рисками, уровнем автономности и условиями использования, по тексту на сайте Службы поддержки Еврокомиссии. Для российской компании это чужое право, поэтому я использую ее как ориентир, а не как обязанность. Мысль в ней полезная: чем дороже ошибка, тем ближе человек.

В книге я писал о руководителях: «Способность принимать сложные решения важна при отсутствии четких данных или гарантированных итогов». Такие решения я агенту не отдаю: ему остаются задачи с записанным правилом. Пример на документах компании есть в разборе об агенте с базой знаний.

Когда агент обязан остановиться и отдать вопрос человеку

Агент останавливается, когда от выбора зависят деньги, клиент, договор или закон, и всегда перед действием, которое нельзя отменить. По моему правилу его останавливают и другие признаки: у источника нет даты или владельца, либо повторный прогон дал другой ответ. Спецификация MCP, протокола подключения к данным и инструментам (редакция от 18 июня 2025), называет ключевым принципом явное согласие пользователя перед вызовом любого инструмента. Сам протокол этого обеспечить не может: процесс согласия встраивают разработчики приложения.

Для систем высокого риска статья 14 Регламента ЕС об ИИ (текст на 27 июля 2026) требует, чтобы человек мог проигнорировать или развернуть их вывод. Еще он должен уметь остановить систему кнопкой «стоп» в безопасном состоянии.

Пусть сомнения станут сигналом быть внимательнее, а не поводом игнорировать тревогу.

Михаил Мозгкнига «Как не стать Банкротом!?»

В той же книге я советовал проверять партнеров: «Проверяйте все: документы, контакты, отзывы, домены. Если что-то смущает, лучше остановиться и подумать, чем потом сожалеть». К агенту я отношусь так же: остановка стоит минут, а письмо клиенту с неверной ценой стоит денег и доверия. Принцип описан в статье «Что такое человек в контуре».

Что агент кладет на стол человеку вместе с вопросом

Вместе с вопросом агент кладет на стол пять вещей, и человеку не приходится заново искать источники. Руководство Google People + AI советует то же при передаче управления от ИИ человеку: у человека должна быть вся нужная информация. Мой набор такой:

  • оба значения, без округления и пересказа;
  • источник каждого значения с его датой;
  • дословная цитата из каждого источника;
  • свой вариант и причина выбора;
  • цена ошибки: что случится, если выбрать неверно.

Цитата избавляет человека от повторной работы. Документация Claude от Anthropic советует просить модель подкреплять каждое утверждение цитатой и снимать утверждение, для которого цитаты нет.

Я требую показывать вариант вместе с сомнением. Статья 14 Регламента ЕС об ИИ (текст на 27 июля 2026) называет риск предвзятости автоматизации: склонность чрезмерно полагаться на вывод системы. По-моему, если ответ всегда звучит уверенно, его со временем перестают проверять.

Решение человека идет в журнал: противоречие, выбор, причина. По журналу правило старшинства переписывают, и я жду, что одинаковых вопросов со временем станет меньше. Как вести журнал, описано в разборе о тестировании ИИ-агента. Открытое сомнение полезнее уверенной ошибки.

А какое противоречие в ваших данных агент встретит первым: цена, срок в договоре или контакт клиента?

Вопросы и ответы

Может ли агент сам решить, какой из двух источников новее?

Да, но только по правилу, записанному заранее. Без отметки времени он не угадывает: руководство Google People + AI советует не действовать на предположениях. Руководство 10 Microsoft приводит пример с помощником, который не уверен, кому звонить. Вопрос «Вы имеете в виду Билла Г. или Билла С.?» там может обойтись дешевле звонка не тому человеку.

Что значит, если два прогона агента или два агента дали разные ответы?

Это сигнал остановиться, а не повод голосовать. Документация Claude предлагает прогнать один запрос несколько раз и сравнить: расхождения могут указывать на галлюцинации. По-моему, совпадение ответов еще не доказывает правду, а расхождение точно требует источника. Так же я поступаю, когда два агента дали разные значения: каждое идет человеку со своим источником.

Не утонет ли руководитель в вопросах от агента?

Нет, если человеку уходят только вызовы с последствиями. На странице документации OpenAI Agents SDK о человеке в контуре одобрение задается правилом для каждого вызова. В ее примере письмо уходит на проверку, если в теме есть слово о возврате. При пустых или испорченных аргументах, по той же странице, правило не срабатывает, и вызов ждет ручного одобрения.

Кто отвечает, если агент выбрал неверный источник?

Отвечают компания и человек, который доверил ему эту работу, а не программа: такова моя практическая позиция, а не юридическая оценка. Российский Кодекс этики в сфере ИИ рекомендательный, присоединение к нему добровольное. Комиссия по его реализации в ответах на частые вопросы пишет: «Любую информацию, в том числе полученную с помощью ГенИИ, следует проверять и стремиться находить первоисточники».

Что делать, если агент уже выполнил действие на неверных данных?

Остановить повтор и вернуть решение человеку: по-моему, второй запуск может удвоить ущерб. Страница документации OpenAI Agents SDK о человеке в контуре предупреждает: после сбоя платеж может пройти повторно. Поэтому, по ее словам, для действий с последствиями нужен постоянный ключ идемпотентности, то есть метка повтора. Неясный исход та же страница предлагает записать как неизвестный и не повторять автоматически.

Источники и проверка

Ссылки проверены 20 ноября 2026; у документаций, руководств и Кодекса день выпуска на странице не указан. Проверено редакцией 20 ноября 2026.

  1. Anthropic, «Building effective agents», 19 декабря 2024 (anthropic.com)
  2. Rongwu Xu и соавторы, «Knowledge Conflicts for LLMs: A Survey», arXiv, 13 марта 2024 (arxiv.org)
  3. Европейская комиссия, Служба поддержки по Регламенту ЕС об ИИ, «Article 14: Human oversight», консолидированный текст на 27 июля 2026 (ai-act-service-desk.ec.europa.eu)
  4. EUR-Lex, «Regulation (EU) 2024/1689», официальная публикация исходного текста (eur-lex.europa.eu)
  5. Model Context Protocol, «Specification», редакция от 18 июня 2025 (modelcontextprotocol.io)
  6. Google, «Errors + Graceful Failure», People + AI Guidebook (pair.withgoogle.com)
  7. Anthropic, документация Claude, «Reduce hallucinations» (platform.claude.com)
  8. Microsoft HAX Toolkit, Guidelines for Human-AI Interaction, «Guideline 10: Scope services when in doubt» (microsoft.com)
  9. OpenAI, «Human-in-the-loop», документация OpenAI Agents SDK для Python (openai.github.io)
  10. Комиссия по реализации Кодекса этики в сфере ИИ, «Ответы Комиссии на наиболее значимые и часто задаваемые вопросы», сайт Кодекса этики в сфере ИИ (ethics.a-ai.ru)
  11. Михаил Мозг, книга «Как не стать Банкротом!?», 2024, ЛитРес (litres.ru)

Нашли ошибку? Напишите нам

Публикации

Как создать чат-бот в Максе: инструкция для компании

Чтобы создать чат-бот в Максе, компании нужно пройти четыре шага на платформе MAX для партнеров: проверить профиль организации через Госуслуги, заполнить карточку бота, дождаться модерации до 48 часов по рабочим дням и собрать сценарий в конструкторе или своим кодом. Ниже каждый шаг по документации MAX, проверенной 16 октября 2026 года, а также как связать бота с сайтом, CRM и командой и на чем бо

ИнструкцияИТСредний11 мин
Написать в Telegram