Банк России о безопасности ИИ: деньги подтверждает человек, и это правило пригодится любой компании

По словам регулятора, рекомендации систематизируют риски применения ИИ и описывают возможные атаки злоумышленников. Финансовым организациям советуют разработать собственные модели угроз и политику информационной безопасности для работы с ИИ. Отдельный раздел посвящен ИИ-сервисам внешних поставщиков.

Коммерсантъ насчитал в документе более 20 мер. Среди них контроль достоверности данных, на которых учится модель, контроль целостности самой модели, очистка входящих запросов и способность объяснить решение модели.

Регулятор пишет прямо: "если финансовая организация использует ИИ в критически важных процессах с высокими рисками информационной безопасности, в частности в платежных операциях, то рекомендуется, чтобы операцию подтверждал сотрудник". Это рекомендация, а не закон, и адресована она банкам и другим участникам финансового рынка. Это не юридическая консультация.

Прямых обязанностей для торговли, услуг или производства документ не создает. Но риски те же. В документе описана вредоносная "инъекция": обход системных инструкций модели с помощью специально подготовленных входных данных. Для агента, который видит 1С и банк, это письмо или сообщение с чужими указаниями внутри, и модель не должна их выполнять.

Поэтому правило Банка России полезно перенести к себе: агент готовит платеж, сверку или отчет, а деньги отправляет человек. ИИ для бухгалтерии и финансов должен видеть только то, что ему открыли, а его действия должны быть видны в журнале.

Первое: есть ли у ИИ-сервиса отдельная учетная запись, или он работает под логином сотрудника. Второе: может ли он сам отправить платеж или изменить документ без подтверждения. Третье: где обрабатываются персональные данные клиентов и кто поставщик модели. Четвертое: кто в компании отвечает за эти доступы и как быстро их можно отключить.

Новость касается процессов, где рядом деньги: платежи, сверки, отчеты. Первым мы бы отдали агенту утренний отчет по 1С, CRM и банку, где агент только читает данные и ничего не отправляет. У агента отдельная учетная запись с правами только на его процесс, персональные данные обрабатываются на серверах в России. В договор пилота мы пишем метрику: долю рабочих дней, когда отчет пришел вовремя и сошелся с 1С.

Пример расчета: допустим, финансовый менеджер с зарплатой 100 000 ₽ тратит на утреннюю сводку 1 час в день. С налогами (× 1,3) его месяц стоит 130 000 ₽, 22 часа из 165 рабочих это около 17 000 ₽. Одна сводка сама по себе не окупает сопровождение от 40 000 ₽ в месяц, и мы скажем это на разборе. Считать имеет смысл вместе со сверкой платежей и напоминаниями должникам: если метрика пилота за 14 дней, от 150 000 ₽, подтвердится, решение о следующих процессах вы примете по цифрам.