Словарь ИИ

Что такое инструктивная настройка

Коротко

Инструктивная настройка это дообучение языковой модели на парах «инструкция и правильный ответ», после которого она выполняет просьбы, а не просто продолжает текст.

Языковые модели · instruction tuning

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Представь ученика, который прочитал всю школьную библиотеку, но на вопрос учителя отвечает пересказом случайной страницы. Тогда учитель много раз показывает: вот задание, а вот как на него правильно ответить. Скоро ученик понимает, что от него ждут ответа на вопрос, а не любой страницы. С нейросетью поступают так же.

Простыми словами

После предобучения модель знает много, но умеет только продолжать текст. На просьбу «напиши три идеи для акции» она может дописать еще десяток похожих просьб вместо идей. Чтобы это исправить, ей показывают тысячи примеров: задание человеческим языком и образцовый ответ. Задания разные: перевести, сократить, ответить на вопрос, составить список. Модель усваивает общее правило: текст после инструкции должен ее выполнить. Получается версия, которую разработчики помечают словом instruct или chat. Именно ее подключают к чат-ботам.

Для бизнеса

Почти все модели, которые компании подключают по API или ставят на свой сервер, уже прошли такую настройку у разработчика. Свою имеет смысл делать, когда модель должна стабильно выдавать ответ в фирменном формате, знать внутренние термины или работать с узкими документами, а промптов уже не хватает. Главная статья расходов здесь не видеокарты, а данные: нужны сотни или тысячи проверенных пар «запрос и эталонный ответ», и готовят их эксперты компании. Ошибки в примерах модель усвоит так же старательно, как правильные ответы. Начните с выборки реальных обращений и оценки текущей модели на них: часто хватает хорошего промпта и поиска по документам. Какие данные стоит собирать заранее, решают при подготовке данных для ИИ.

Для специалиста

Инструктивная настройка (instruction tuning) это обучение с учителем (supervised fine-tuning, SFT) предобученной модели на наборе задач, сформулированных инструкциями на естественном языке. Wei и соавторы (2021) дообучили модель на 137 млрд параметров на более чем 60 задачах, оформленных шаблонами инструкций; полученная FLAN в режиме без примеров (zero-shot) обошла GPT-3 на 175 млрд параметров в 20 из 25 проверенных задач. Chung и соавторы (2022) масштабировали подход до 1,8 тыс. задач, добавили данные с цепочками рассуждений (chain-of-thought) и опубликовали чекпоинты Flan-T5. Функция потерь обычная, кросс-энтропия по токенам ответа, а токены инструкции, как правило, маскируют. Для чат-моделей данные оформляют шаблоном диалога с ролями. В схеме InstructGPT (Ouyang и соавторы, 2022) этот этап предшествует обучению на предпочтениях, а вместо RLHF на этапе предпочтений сегодня также применяют DPO.

Пример

Юридическая фирма собирает две тысячи пар «вопрос клиента и ответ юриста» и проводит настройку открытой модели. После этого модель отвечает в принятом в фирме формате: вывод, ссылка на статью закона, следующий шаг.

Связанные термины

Вопросы и ответы

Чем инструктивная настройка отличается от обычного дообучения?

Это частный случай дообучения. Обычное дообучение может учить модель чему угодно, например стилю или терминам, а здесь цель одна: научить ее выполнять просьбы, записанные человеческим языком.

Нужно ли компании делать инструктивную настройку самой?

Чаще всего нет: готовые модели уже прошли ее у разработчика. Свою делают, когда промпты и поиск по документам не дают нужного формата или качества, и есть сотни проверенных примеров.

Источники

Где это применяют в компании

Данные для ИИ: что измерять в бизнесе и как их собирать

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений