Словарь ИИ

Что такое DPO

Коротко

DPO (Direct Preference Optimization) это метод дообучения языковой модели на парах ответов «удачный и неудачный», который учит ее отвечать так, как предпочитают люди, без отдельной модели вознаграждения.

Языковые модели · direct preference optimization

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Представь, что тебе показывают два рисунка одного и того же дома и говорят: вот этот нравится больше. Потом еще пару, и еще. Оценок по шкале нет, есть только выбор из двух. Через сотню таких пар ты сам начинаешь рисовать так, как нравится зрителям. Нейросеть учат похожим способом: показывают два ее ответа и отмечают, какой удачнее.

Простыми словами

Чтобы модель отвечала вежливо, по делу и без лишней воды, ей показывают пары ответов на один и тот же вопрос. Человек отметил, какой из двух удачнее. Метод прямо сдвигает модель: повышает шансы ответов, похожих на выбранные, и понижает шансы отвергнутых. При этом ее держат рядом с исходной версией, чтобы она не разучилась остальному. Раньше для этого строили отдельную модель-судью и сложную схему обучения с подкреплением. Новый способ обходится без судьи, поэтому он проще и дешевле.

Для бизнеса

Метод сделал настройку модели под требования компании доступной небольшой команде. Исходный материал простой: пары ответов, где сотрудник отметил удачный вариант. Такие данные часто копятся сами, например, когда оператор поддержки правит черновик ИИ перед отправкой: черновик становится отвергнутым ответом, исправленный текст удачным. Обучение идет на тех же видеокартах, что и обычное дообучение, без отдельной модели-судьи. Риски знакомые: модель перенимает перекосы оценщиков, а при слабом контроле начинает отвечать длиннее и угодливее. Прежде чем обучать, договоритесь о критериях оценки и замерьте качество на отложенной выборке. Метрику и порог успеха фиксируют на пилоте.

Для специалиста

Direct Preference Optimization предложили Rafailov и соавторы (2023). В RLHF сначала обучают модель вознаграждения (reward model) на сравнениях, затем оптимизируют политику обучением с подкреплением со штрафом за уход от исходной модели. Авторы показали, что оптимальная политика этой задачи выражается через награду в замкнутой форме, и свели обучение к простой классификационной функции потерь на парах: минус логарифм сигмоиды от β, умноженной на разность логарифмов отношения вероятностей предпочтенного и отвергнутого ответов у обучаемой и эталонной (reference) модели. Сэмплировать из модели во время обучения не нужно. В экспериментах метод превзошел RLHF на основе PPO в управлении тональностью и не уступил ему в суммаризации и однооборотном диалоге. В библиотеке TRL пример задается полями prompt, chosen и rejected, β по умолчанию равна 0,1, а большее значение сильнее удерживает модель у эталона. Среди вариантов функции потерь там же IPO, Robust DPO и нормировка по длине из работы SimPO.

Пример

Интернет-магазин собирает пары: черновик ответа от ИИ и версию, которую оператор отправил клиенту после правки. Через месяц таких пар хватает, чтобы дообучить модель методом DPO, и операторы правят черновики реже.

Связанные термины

Вопросы и ответы

Чем DPO отличается от RLHF?

В RLHF сначала обучают отдельную модель-судью и затем подкрепляют основную модель ее оценками. Здесь судья не нужен: основная модель учится прямо на парах предпочтений, поэтому обучение проще, стабильнее и требует меньше вычислений.

Какие данные нужны для DPO?

Пары ответов на одинаковые запросы, где отмечен предпочтительный вариант. Их собирают оценщики или берут из правок сотрудников, а качество критериев оценки важнее объема.

Источники

Где это применяют в компании

Пилот ИИ-агента с метрикой результата в договоре

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений