Словарь ИИ
Что такое конституционный ИИ
Коротко
Конституционный ИИ (Constitutional AI) это метод Anthropic, при котором модель учат безопасному поведению по письменному списку принципов: она сама критикует и исправляет свои ответы, а люди только составляют правила.
Языковые модели · constitutional AI
Михаил МозгПроверено: 1 минута чтения
Ребенку
В классе можно повесить на стену правила: не обижать друг друга, говорить правду, помогать. А потом каждый сам проверяет, что он сказал, и исправляется, если нарушил правило. Так учителю не нужно следить за каждым шагом. Некоторые нейросети учат похоже: дают им список правил, и они сами себя поправляют.
Простыми словами
Обычно, чтобы научить нейросеть не отвечать вредно, люди тысячами оценивают ее ответы. Здесь иначе. Разработчики пишут короткий свод принципов, «конституцию». Модель отвечает на запрос, затем перечитывает ответ, ищет, что в нем нарушает принципы, и переписывает. На исправленных ответах ее доучивают. Потом копия модели сравнивает пары ответов и решает, какой ближе к правилам, и эти оценки тоже идут в обучение. Людям не приходится читать горы опасных текстов.
Для бизнеса
Для бизнеса этот подход ценен прозрачностью: правила, по которым модель отказывает или отвечает, записаны словами и опубликованы, их можно прочитать и сравнить с вашей политикой. Anthropic выложила текст конституции своих моделей под лицензией CC0. Сам метод работает при обучении у разработчика, и пользователь его не настраивает. Но идея переносится в компанию: собственные принципы, что ассистенту можно говорить клиентам и о чем молчать, оформляют в системной инструкции и в правилах проверки ответов. Риск в том, что формулировки не покрывают всех ситуаций, поэтому граничные случаи тестируют вручную. Такие правила удобно закрепить в политике использования ИИ.
Для специалиста
Конституционный ИИ (Constitutional AI, CAI) описали Bai и соавторы (2022). Надзор человека сводится к списку принципов. Первая фаза идет с учителем: модель генерирует ответы на провокационные запросы, критикует их по случайно выбранному принципу, переписывает, и ее дообучают на исправленных версиях. Во второй фазе модель сравнивает пары ответов, на этих сравнениях обучают модель предпочтений, и она служит наградой при обучении с подкреплением. Авторы назвали это обучением с подкреплением по отзывам ИИ (RLAIF). В обеих фазах можно применять рассуждение по шагам (chain-of-thought), что делает решения модели прозрачнее. Первая опубликованная конституция Claude (май 2023) опиралась на Всеобщую декларацию прав человека, условия использования Apple, правила Sparrow от DeepMind и другие источники. Новая версия вышла 21 января 2026 года и задает порядок приоритетов: безопасность, этичность, следование правилам Anthropic, полезность.
Пример
Компания пишет для своего ассистента короткий свод правил: не давать юридических заключений, не обсуждать другие компании, при сомнении звать сотрудника. Отдельная модель проверяет черновики ответов по этим правилам до отправки клиенту.
Связанные термины
Вопросы и ответы
Что такое конституция Claude?
Чем конституционный ИИ отличается от RLHF?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений