Словарь ИИ

Что такое RLHF

Коротко

RLHF (обучение с подкреплением на отзывах людей) это этап обучения языковой модели, на котором люди сравнивают ее ответы, а модель учится давать те, что они предпочитают.

Языковые модели · reinforcement learning from human feedback

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Представь, что щенок учит команды. Когда он делает правильно, хозяин хвалит его и дает лакомство, а когда неправильно, просто ничего не дает. Скоро щенок сам понимает, чего от него ждут. С нейросетью похоже: люди выбирают, какой ее ответ вежливее и полезнее, и она постепенно учится отвечать так, как им нравится.

Простыми словами

После первого обучения модель умеет продолжать текст, но может отвечать грубо, уходить от вопроса или выдумывать. Чтобы это исправить, люди-оценщики смотрят на несколько ее ответов на один вопрос и выбирают более удачный. По множеству таких сравнений строят отдельную модель-судью, которая предсказывает, какой ответ понравится человеку. Затем основную модель тренируют получать от судьи высокие оценки. Например, на просьбу помочь с письмом она начинает писать само письмо, а не рассуждать о письмах вообще.

Для бизнеса

Благодаря этому этапу чат-модели следуют инструкциям, отказываются от вредных запросов и держат вежливый тон. Ouyang и соавторы (2022) показали силу метода: люди предпочитали ответы InstructGPT на 1,3 млрд параметров ответам GPT-3 на 175 млрд. Для компании отсюда два вывода. Поведение готовой модели во многом задали чужие оценщики со своими правилами, поэтому она может отказывать в нормальных рабочих задачах или угождать пользователю в ущерб точности. Свой этап по предпочтениям имеет смысл, когда есть поток оценок от сотрудников, например кнопки «полезно» и «не помогло» в ассистенте. Перед этим проверьте, кто и по каким критериям ставит оценки: их перекосы перейдут в модель.

Для специалиста

Christiano и соавторы (2017) заложили основу RLHF (reinforcement learning from human feedback) на играх Atari и симуляции движения роботов: агент восстанавливал функцию вознаграждения по сравнениям пар фрагментов траекторий, получая отзывы меньше чем на 1% своих взаимодействий со средой. Для языковых моделей схему закрепили Ouyang и соавторы (2022) в InstructGPT: обучение с учителем на демонстрациях (SFT), ранжирование ответов людьми, обучение модели вознаграждения (reward model) и оптимизация политики алгоритмом PPO со штрафом за отклонение от исходной модели по KL-дивергенции. Проблемы метода: эксплуатация несовершенств модели вознаграждения (reward hacking), угодничество (sycophancy), дорогая разметка. Альтернативы: DPO (Rafailov и соавторы, 2023) сводит задачу к классификационной функции потерь на парах предпочтений без отдельной модели вознаграждения и без RL, а RLAIF заменяет оценки людей оценками другой модели.

Пример

Ассистент юристов на просьбу «составь претензию» сначала выдавал общие советы. После этапа обучения на оценках, где юристы выбирали более полезный из двух ответов, он стал сразу присылать готовый текст претензии.

Связанные термины

Вопросы и ответы

Как RLHF работает простыми словами?

Оценщики сравнивают ответы модели и выбирают более удачные. По этим сравнениям строят модель-судью, а основную модель тренируют получать от судьи высокие оценки.

Чем RLHF отличается от DPO?

RLHF обучает отдельную модель вознаграждения и затем оптимизирует основную модель методами обучения с подкреплением. DPO использует те же пары предпочтений, но обучает модель напрямую, без модели вознаграждения, поэтому проще и стабильнее.

Источники

Где это применяют в компании

Ошибки ИИ в бизнесе: как снизить риск и кто отвечает

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений