Словарь ИИ
Что такое управление ИИ
Коротко
Управление ИИ это система правил, ролей и проверок, с которой компания решает, какие системы искусственного интеллекта запускать, как следить за их рисками и кто отвечает за результат.
Бизнес и внедрение · AI governance
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь, что в детском лагере появились водные велосипеды. Вожатые решают, кто может на них кататься, с какого возраста, в каких жилетах и кто следит с берега. Каждое утро они проверяют, все ли велосипеды целы. Без такого порядка веселье быстро закончилось бы. Компании так же договариваются о порядке для своих умных программ.
Простыми словами
Когда в компании десятки сервисов с ИИ, нужен порядок: кто разрешает запуск, по каким правилам, как узнать, что система ошибается. В компании ведут список всех таких систем, для каждой назначают владельца, оценивают риск до запуска и проверяют работу после. Есть понятная процедура на случай, если модель дала вредный или неверный ответ. Это похоже на правила дорожного движения: машины разные, водители разные, но знаки, права и техосмотр общие для всех.
Для бизнеса
Без этой системы компания узнает о проблеме последней: из жалобы клиента, проверки регулятора или утечки. Правила защищают выручку и репутацию и даже ускоряют запуски, потому что у каждого проекта есть понятный путь согласования. Затраты зависят от масштаба: малому бизнесу хватает политики использования, реестра сервисов и ответственного, крупной компании нужны комитет, оценка поставщиков и регулярный аудит. Риски, которые закрывает эта работа: персональные данные вне правил 152-ФЗ, решения по непроверенным ответам, зависимость от одного поставщика, нарушение чужих прав на контент. Перед стартом проверьте, есть ли у вас полный список систем с ИИ, которыми уже пользуются сотрудники. С такой инвентаризации обычно начинается и разбор рисков ИИ в компании.
Для специалиста
Управление ИИ (AI governance) это совокупность политик, процессов, ролей и технических средств контроля, которые удерживают системы ИИ в пределах целей организации, закона и допустимого риска на всем жизненном цикле. Опорный документ, NIST AI Risk Management Framework 1.0, опубликован 26 января 2023 года для добровольного применения и делит работу на четыре функции: Govern, Map, Measure и Manage. Govern включает документирование требований закона, механизмы инвентаризации систем ИИ, распределение ролей и ответственности, обучение персонала и политики по рискам третьих сторон, в том числе поставщиков моделей и данных. В июле 2024 года NIST выпустил профиль для генеративного ИИ (NIST AI 600-1). Практические элементы: реестр систем и сценариев, классификация по риску, оценка влияния до запуска, проверка поставщиков, мониторинг качества и дрейфа, журнал инцидентов, человек в контуре для решений с высокой ценой ошибки. Основанием служит управление данными (data governance).
Пример
Страховая компания обнаружила, что отделы пользуются девятью разными сервисами с ИИ. Ввели реестр, назначили владельца каждого сервиса и правило: новый инструмент запускают только после оценки рисков. Два сервиса, которые хранили запросы за рубежом, отключили.
Связанные термины
Вопросы и ответы
Управление ИИ и управление бизнесом с помощью ИИ это одно и то же?
С чего начать управление ИИ в компании?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений