Словарь ИИ
Что такое дообучение
Коротко
Дообучение это настройка уже обученной модели на ваших примерах, чтобы она точнее выполняла конкретную задачу или писала в нужном стиле.
Языковые модели · fine-tuning
Редакция ММООЗЗГГ.ruПроверено: 1 минута чтения
Ребенку
Представь, что ты уже умеешь кататься на велосипеде и решил освоить горный. Учиться заново не нужно, хватит нескольких тренировок на лесных тропинках. С нейросетью так же: она уже много знает, и ее немного тренируют на нужных примерах, чтобы она стала мастером в одном деле.
Простыми словами
Готовая модель знает язык и многое о мире, но не знает, как принято отвечать в вашей компании. Дообучение (fine-tuning) решает это так: модели показывают набор пар «вопрос и правильный ответ» и немного корректируют ее внутренние настройки. Учить с нуля не нужно, поэтому хватает небольшого набора и сравнительно недолгих вычислений. Например, служба доставки собирает удачные ответы операторов, и модель после тренировки отвечает тем же тоном и в том же формате. Новые факты так закладывать неудобно: их проще передавать модели вместе с вопросом.
Для бизнеса
Дообучать стоит, когда модель должна стабильно держать формат, тон или узкую классификациюклассификация. Классификация это задача машинного обучения, в которой модель относит объект к одному из заранее известных классов: спам или не спам, жалоба или вопрос, брак или норма.: разбирать заявки по категориям, заполнять карточки, писать в фирменном стиле. Цена складывается из подготовки размеченных примеров, аренды видеокартаренда GPU. Аренда GPU это оплата доступа к чужим видеокартам в дата-центре по часам или месяцам вместо покупки собственного сервера для нейросетей. и повторных циклов при обновлении. Часто больше всего времени уходит на разметку: плохие примеры дают уверенно неверные ответы. Для знаний, которые часто меняются, например цен и регламентов, этот путь невыгоден, там применяют поиск по документам (RAG). Риски: модель может растерять часть прежних умений, а данные клиентов из обучающего набора могут всплыть в ответах. Сравните дообученную и обычную модель на одном наборе вопросов, это удобно сделать на пилоте.
Для специалиста
Дообучение (fine-tuning) продолжает обучение предобученной модели на меньшем целевом наборе данныхдатасет. Датасет (dataset) это набор данных, собранный и оформленный для обучения или проверки модели: таблица, папка с картинками или корпус текстов, где каждый пример описан одинаково.. Howard и Ruder (2018) в методе ULMFiT показали для классификации текста, что со 100 размеченными примерами дообученная языковая модельбольшая языковая модель. Большая языковая модель (LLM) это нейросеть, обученная на огромном объеме текстов, которая пишет, пересказывает и разбирает текст по запросу. работает на уровне обучения с нуля на объеме в 100 раз больше. Для LLM основные режимы: обучение с учителем на инструкциях (supervised fine-tuning, SFT), выравнивание по предпочтениям (RLHF, DPO) и параметрически эффективные методы (PEFT). Метод LoRA (Hu и соавторы, 2021) замораживает исходные веса и обучает низкоранговые матрицы-добавки; по сравнению с полным дообучением GPT-3 175B это сократило число обучаемых параметров примерно в 10 000 раз, а потребность в памяти GPU примерно в 3 раза. QLoRA добавляет 4-битную квантизацию базовой модели. Риски: катастрофическое забывание (catastrophic forgetting), переобучение на малом наборе, запоминание обучающих данных. Качество сравнивают на отложенной выборке и общих бенчмарках до и после.
Пример
Служба доставки дообучила модель на нескольких тысячах размеченных обращений. Теперь она сама относит каждое письмо к одной из двенадцати категорий и передает его нужному отделу.
Связанные термины
Вопросы и ответы
Сколько примеров нужно для дообучения?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений