Словарь ИИ
Что такое инструктивная настройка
Коротко
Инструктивная настройка это дообучение языковой модели на парах «инструкция и правильный ответ», после которого она выполняет просьбы, а не просто продолжает текст.
Языковые модели · instruction tuning
Редакция ММООЗЗГГ.ruПроверено: 1 минута чтения
Ребенку
Представь ученика, который прочитал всю школьную библиотеку, но на вопрос учителя отвечает пересказом случайной страницы. Тогда учитель много раз показывает: вот задание, а вот как на него правильно ответить. Скоро ученик понимает, что от него ждут ответа на вопрос, а не любой страницы. С нейросетью поступают так же.
Простыми словами
После предобучения модель знает много, но умеет только продолжать текст. На просьбу «напиши три идеи для акции» она может дописать еще десяток похожих просьб вместо идей. Чтобы это исправить, ей показывают тысячи примеров: задание человеческим языком и образцовый ответ. Задания разные: перевести, сократить, ответить на вопрос, составить список. Модель усваивает общее правило: текст после инструкции должен ее выполнить. Получается версия, которую разработчики помечают словом instruct или chat. Именно ее подключают к чат-ботамчат-бот. Чат-бот это программа, которая переписывается с человеком в окне чата: на сайте, в мессенджере или в приложении..
Для бизнеса
Почти все модели, которые компании подключают по API или ставят на свой сервер, уже прошли такую настройку у разработчика. Свою имеет смысл делать, когда модель должна стабильно выдавать ответ в фирменном формате, знать внутренние термины или работать с узкими документами, а промптовпромпт. Промпт это текст, которым вы ставите задачу нейросети: вопрос, инструкция, примеры и данные, по которым она пишет ответ. уже не хватает. Главная статья расходов здесь не видеокарты, а данные: нужны сотни или тысячи проверенных пар «запрос и эталонный ответ», и готовят их эксперты компании. Ошибки в примерах модель усвоит так же старательно, как правильные ответы. Начните с выборки реальных обращений и оценки текущей модели на них: часто хватает хорошего промпта и поиска по документам. Какие данные стоит собирать заранее, решают при подготовке данных для ИИ.
Для специалиста
Инструктивная настройка (instruction tuning) это обучение с учителемобучение с учителем. Обучение с учителем (supervised learning) это способ научить модель на примерах, где к каждому входу заранее приписан правильный ответ. (supervised fine-tuning, SFT) предобученной модели на наборе задач, сформулированных инструкциями на естественном языке. Wei и соавторы (2021) дообучили модель на 137 млрд параметров на более чем 60 задачах, оформленных шаблонами инструкций; полученная FLAN в режиме без примеров (zero-shotzero-shot. Zero-shot это способ работы с нейросетью, когда задачу описывают словами и не дают ни одного готового примера решения.) обошла GPT-3 на 175 млрд параметров в 20 из 25 проверенных задач. Chung и соавторы (2022) масштабировали подход до 1,8 тыс. задач, добавили данные с цепочками рассуждений (chain-of-thought) и опубликовали чекпоинты Flan-T5. Функция потерь обычная, кросс-энтропия по токенам ответа, а токены инструкции, как правило, маскируют. Для чат-моделей данные оформляют шаблоном диалога с ролями. В схеме InstructGPT (Ouyang и соавторы, 2022) этот этап предшествует обучению на предпочтениях, а вместо RLHF на этапе предпочтений сегодня также применяют DPO.
Пример
Юридическая фирма собирает две тысячи пар «вопрос клиента и ответ юриста» и проводит настройку открытой моделимодель с открытыми весами. Модель с открытыми весами (open-weights model) это нейросеть, файлы параметров которой можно скачать и запустить на своем оборудовании.. После этого модель отвечает в принятом в фирме формате: вывод, ссылка на статью закона, следующий шаг.
Связанные термины
Вопросы и ответы
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений