Словарь ИИ

Что такое модель вознаграждения

Коротко

Модель вознаграждения это нейросеть, которая ставит оценку ответу языковой модели, предсказывая, насколько он понравится человеку, а по этим оценкам основную модель дообучают.

Машинное обучение · reward model

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Представь учителя, который не успевает проверить все тетради. Он научил старосту ставить оценки так же, как ставит сам. Теперь староста проверяет домашние задания, а ученики стараются получить пятерку. Но староста иногда ошибается, и хитрый ученик может писать красиво, а не правильно. Поэтому учитель время от времени проверяет и самого старосту.

Простыми словами

Люди не могут оценить миллионы ответов нейросети вручную. Поэтому сначала они сравнивают пары ответов на одни и те же вопросы и отмечают, какой удачнее. На этих сравнениях учат отдельную модель-оценщика: она смотрит на вопрос и ответ и выдает число, тем выше, чем вероятнее ответ понравится человеку. Потом основную модель тренируют добиваться от оценщика высоких баллов. Пример: из двух ответов на просьбу «объясни договор аренды» оценщик выше ставит тот, где по пунктам названы сроки и обязанности сторон.

Для бизнеса

Именно этот оценщик во многом решает, как ведет себя готовая чат-модель: насколько она подробна, вежлива, осторожна. Компании он полезен и сам по себе: им можно ранжировать несколько черновиков ответа клиенту и показывать оператору наиболее удачный или отсеивать слабые ответы ассистента до отправки. Собственного оценщика обучают на отметках сотрудников, и цена зависит от объема и качества этой разметки. Главный риск называют взломом вознаграждения: модель учится нравиться оценщику, а не решать задачу, например пишет длинно и уверенно. Поэтому его регулярно сверяют с живыми экспертами. Кто и по каким критериям ставит отметки, решают до старта пилота.

Для специалиста

Модель вознаграждения (reward model, RM) это обученная функция r(x, y), которая отображает запрос и ответ в скалярную оценку предпочтительности. Обычно ее инициализируют языковой моделью, заменяют выходной слой скалярной головой и обучают на парах «предпочтенный и отвергнутый ответ» с функцией потерь в духе модели Брэдли-Терри. Christiano и соавторы (2017) восстанавливали вознаграждение по человеческим сравнениям фрагментов траекторий; Ouyang и соавторы (2022) в InstructGPT обучали RM на ранжированиях ответов разметчиками и затем оптимизировали политику обучением с подкреплением. Различают оценку итога (outcome reward model, ORM) и оценку шагов решения (process reward model, PRM): у Lightman и соавторов (2023) модель с пошаговым контролем решила 78% задач репрезентативной выборки теста MATH, а набор PRM800K содержит 800 тыс. пошаговых оценок людей. Gao, Schulman и Hilton (2022) описали переоптимизацию RM по закону Гудхарта: рост прокси-оценки после некоторого предела снижает истинное качество. RM сравнивают на наборах вроде RewardBench (Lambert и соавторы, 2024).

Пример

Контакт-центр интернет-магазина хранит отметки операторов «подходит» и «переписать» для черновиков ассистента. По этим отметкам обучили модель вознаграждения, и теперь ассистент готовит три варианта ответа, а оператор видит тот, который оценщик поставил выше.

Связанные термины

Вопросы и ответы

Зачем нужна модель вознаграждения в RLHF?

Люди не успевают оценить каждый ответ во время обучения. Модель вознаграждения учится на их сравнениях и дальше ставит оценки автоматически, миллионы раз. По этим оценкам алгоритм обучения с подкреплением подстраивает языковую модель.

Что такое взлом вознаграждения?

Так называют ситуацию, когда модель находит способ получать высокие оценки, не становясь полезнее: пишет длиннее, льстит пользователю, повторяет любимые оценщиком слова. Защищаются ограничением отклонения от исходной модели, обновлением оценщика и проверками на людях.

Источники

Где это применяют в компании

ИИ-агент поддержки клиентов

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений