Словарь ИИ

Что такое SFT

Коротко

SFT (supervised fine-tuning, контролируемое дообучение) это этап, на котором языковую модель доучивают на парах «запрос и образцовый ответ», чтобы она выполняла инструкции в нужном формате.

Языковые модели · supervised fine-tuning

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Ты прочитал много книг и знаешь кучу слов, но еще не умеешь писать письмо бабушке по правилам. Учитель показывает тебе несколько хороших писем: вот так здороваются, вот так рассказывают новости, вот так прощаются. Ты повторяешь за образцами и скоро пишешь сам. Нейросеть тоже учат на таких примерах.

Простыми словами

После первого обучения на текстах из интернета модель умеет продолжать фразы, но плохо понимает, что от нее хотят. Ей показывают много примеров: вот вопрос, вот правильный ответ, написанный человеком. Модель подстраивается и начинает отвечать в том же духе: по делу, в нужном формате, вежливо. Так из «продолжателя текста» получается помощник, который выполняет просьбы. Новых знаний этот шаг почти не добавляет: он учит манере и форме ответа.

Для бизнеса

Компании прибегают к этому методу, когда инструкций в промпте уже мало: нужен устойчивый формат ответов, тон бренда, разбор документов по внутренним правилам. Главный расход не видеокарты, а данные. Нужны сотни или тысячи качественных примеров, которые пишут и проверяют ваши специалисты; плохие образцы модель старательно повторит. Другие статьи расходов: обучение, хранение своей версии модели и повтор процедуры при смене базовой модели. Риски: модель может потерять часть общих умений, а персональные данные в примерах требуют обезличивания. Новые факты так не загружают, для них нужен поиск по документам. Результат всегда сравнивают с хорошо написанным промптом на тех же вопросах.

Для специалиста

SFT (supervised fine-tuning) это дообучение предобученной модели с учителем на размеченных парах «вход и целевой ответ» с кросс-энтропией по токенам ответа; токены запроса обычно маскируют. Вариант на разнообразных инструкциях называют инструктивной настройкой (instruction tuning). В InstructGPT (Ouyang и соавторы, 2022) SFT на демонстрациях разметчиков стал первым шагом перед моделью вознаграждения и RLHF; оценщики выбирали ответы версии на 1,3 млрд параметров чаще, чем ответы GPT-3 на 175 млрд. В LIMA (Zhou и соавторы, 2023) модель на 65 млрд параметров дообучили лишь на 1000 тщательно отобранных примеров без обучения с подкреплением; авторы считают, что знания закладываются при предобучении, а этот этап учит формату. SFT выполняют полным обновлением весов или методами PEFT, например LoRA и QLoRA. Типичные проблемы: катастрофическое забывание (catastrophic forgetting), переобучение на малом наборе и утечка тестовых данных в обучающие.

Пример

Страховая компания отобрала ответы своих опытных операторов на частые вопросы и дообучила на них открытую модель. Бот стал отвечать в принятом в компании тоне и по одному шаблону: суть, срок, следующий шаг.

Связанные термины

Вопросы и ответы

Чем SFT отличается от RLHF?

SFT учит модель повторять образцовые ответы, написанные людьми. RLHF идет следом: люди сравнивают ответы модели, и ее настраивают выбирать те, что им больше нравятся. Обычно сначала делают SFT, затем выравнивание по предпочтениям.

Сколько примеров нужно для SFT?

Зависит от задачи. В исследовании LIMA хватило 1000 тщательно отобранных примеров, чтобы научить большую модель формату ответов. Для узкой бизнес-задачи качество примеров важнее их количества.

Источники

Где это применяют в компании

ИИ для поддержки клиентов: ответы на типовые вопросы

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений