Словарь ИИ
Что такое ИИ-безопасность
Коротко
ИИ-безопасность (AI safety) это область исследований и практик, которая следит, чтобы системы ИИ не причиняли вреда: не ошибались опасно, не выходили из-под контроля и не служили злоумышленникам.
Основы ИИ · AI safety
Михаил МозгПроверено: 1 минута чтения
Ребенку
Когда ты катаешься на велосипеде, ты надеваешь шлем, а взрослые заранее проверяют тормоза. Велосипед классный, но без этих мер можно упасть. С умными программами так же: люди заранее проверяют, чтобы программа не давала вредных советов, не путала важное и слушалась человека. Этим и занимаются специалисты по безопасности умных машин.
Простыми словами
Чем больше ИИ делает сам, тем важнее, чтобы он делал именно то, что задумано. ИИ-безопасность изучает, как этого добиться. Сюда входят разные вопросы: как не дать модели выдумывать опасные советы, как защитить ее от обмана злоумышленниками, как сделать так, чтобы ИИ-агент не удалил лишние файлы ради выполнения задачи. Отдельная тема касается будущих мощных систем: как сохранить над ними контроль. Похоже на технику безопасности на заводе: правила пишут заранее, а не после аварии.
Для бизнеса
В компании эта работа складывается из понятных шагов. Агенту дают только нужные права: читать CRM можно, удалять сделки нельзя. Важные действия, например платеж или письмо клиенту, подтверждает человек. Ответы модели проверяют ограничители, а саму модель до запуска испытывают провокационными запросами. Все действия пишутся в журнал, чтобы потом разобрать ошибку. Стоимость таких мер обычно ниже цены одного инцидента: утечки, неверной выплаты, жалобы регулятору. Какие данные сотрудникам можно отправлять в нейросети, а какие нельзя, фиксируют в политике использования ИИ.
Для специалиста
ИИ-безопасность (AI safety) изучает предотвращение вреда от систем ИИ, от ошибок проектирования до намеренного злоупотребления. Программной работой для машинного обучения стала статья Д. Амодеи и соавторов «Concrete Problems in AI Safety» (2016) с пятью задачами: избегать побочных эффектов (side effects) и взлома награды (reward hacking), обеспечить масштабируемый надзор (scalable supervision), безопасное исследование среды (safe exploration) и устойчивость к сдвигу распределения (distributional shift). Международный доклад по безопасности ИИ под руководством Й. Бенджио, опубликованный 3 февраля 2026 года, делит риски универсального ИИ на три группы: злонамеренное использование, сбои (включая потерю контроля) и системные риски. Практические рамки: добровольный NIST AI Risk Management Framework 1.0 (январь 2023 года), оценка опасных возможностей до выпуска модели, испытания атакующей командой (red teaming), интерпретируемость (interpretability) и выравнивание (alignment). Смежная область, защищенность ИИ (AI security), занимается атаками: промпт-инъекциями, отравлением данных, кражей весов.
Пример
Компания подключает ИИ-агента к почте и CRM. Перед запуском служба безопасности разрешает ему только чтение и черновики, а отправку писем клиентам оставляет менеджеру. Через месяц агент по ошибке готовит письмо не тому клиенту, но оно так и остается черновиком.
Связанные термины
Вопросы и ответы
Что такое безопасность ИИ?
Чем безопасность ИИ отличается от защиты данных?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений