Словарь ИИ
Что такое выравнивание
Коротко
Выравнивание (alignment) это настройка ИИ, после которой он ведет себя так, как задумали люди: полезно, честно и без вреда.
Языковые модели · alignment
Михаил МозгПроверено: 1 минута чтения
Ребенку
Щенок умеет бегать и громко лаять, но сначала не знает правил дома. Его терпеливо учат: хвалят, когда принес мячик, и не хвалят, когда грызет тапки. Постепенно он понимает, что хорошо, а что нет. Нейросеть тоже учат вести себя хорошо, и это называется выравниванием.
Простыми словами
После обучения на текстах из интернета нейросеть умеет продолжать любые фразы, но не понимает, чего от нее хотят. Она может нагрубить, выдумать факт или помочь с опасным делом. Выравнивание учит ее следовать намерениям людей. Люди сравнивают пары ответов и отмечают, какой полезнее и честнее, а модель подстраивается под эти оценки. Еще ей задают свод правил, по которым она проверяет себя. Похоже на стажера: знаний у него много, но правила общения с клиентами объясняет наставник.
Для бизнеса
От этой настройки зависит, можно ли пускать модель к клиентам. Хорошо настроенная модель отказывает в опасных просьбах, не грубит и признает, что не знает ответа, вместо того чтобы выдумывать. Для компании это вопрос репутации и юридических рисков. Но общая настройка разработчика не знает ваших правил: что нельзя обещать клиенту, какие темы обходить, как говорить о ценах. Их добавляют сверху системным промптом, ограничителями на входе и выходе и проверкой ответов. Перед запуском модель стоит намеренно испытать трудными и провокационными вопросами. Риски ИИ для бизнеса удобно разбирать по видам: данные, ошибки, поставщики, закон.
Для специалиста
Выравнивание (alignment) объединяет задачи и методы, которые приводят поведение модели в соответствие с намерениями и ценностями людей: полезность, честность, безвредность. Базовый конвейер описан в работе InstructGPT (Ouyang и др., 2022): дообучение на демонстрациях (supervised fine-tuning, SFT), затем модель вознаграждения (reward model) на ранжировании ответов людьми и оптимизация политики с подкреплением (RLHF). Оценщики предпочли ответы InstructGPT на 1,3 млрд параметров ответам GPT-3 на 175 млрд. Constitutional AI (Bai и др., 2022) заменяет человеческую разметку вреда списком принципов и обратной связью от ИИ (RLAIF). DPO (Rafailov и др., 2023) переписывает задачу RLHF так, что модель оптимизируют на парах предпочтений простой классификационной функцией потерь, без отдельного цикла RL. Нерешенные проблемы: взлом награды (reward hacking), угодничество (sycophancy), обход ограничений через джейлбрейк.
Не путать. Не путать с выравниванием текста в документах и на сайтах.
Пример
Компания проверяет чат-бота перед запуском. Пользователь просит его оскорбить конкурента, и выровненная модель вежливо отказывается, а когда не знает срока доставки, так и говорит вместо выдуманной даты.
Связанные термины
Вопросы и ответы
Зачем нужно выравнивание ИИ?
Чем выравнивание отличается от RLHF?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений