Словарь ИИ

Что такое дообучение

Коротко

Дообучение это настройка уже обученной модели на ваших примерах, чтобы она точнее выполняла конкретную задачу или писала в нужном стиле.

Языковые модели · fine-tuning

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Представь, что ты уже умеешь кататься на велосипеде и решил освоить горный. Учиться заново не нужно, хватит нескольких тренировок на лесных тропинках. С нейросетью так же: она уже много знает, и ее немного тренируют на нужных примерах, чтобы она стала мастером в одном деле.

Простыми словами

Готовая модель знает язык и многое о мире, но не знает, как принято отвечать в вашей компании. Дообучение (fine-tuning) решает это так: модели показывают набор пар «вопрос и правильный ответ» и немного корректируют ее внутренние настройки. Учить с нуля не нужно, поэтому хватает небольшого набора и сравнительно недолгих вычислений. Например, служба доставки собирает удачные ответы операторов, и модель после тренировки отвечает тем же тоном и в том же формате. Новые факты так закладывать неудобно: их проще передавать модели вместе с вопросом.

Для бизнеса

Дообучать стоит, когда модель должна стабильно держать формат, тон или узкую классификацию: разбирать заявки по категориям, заполнять карточки, писать в фирменном стиле. Цена складывается из подготовки размеченных примеров, аренды видеокарт и повторных циклов при обновлении. Часто больше всего времени уходит на разметку: плохие примеры дают уверенно неверные ответы. Для знаний, которые часто меняются, например цен и регламентов, этот путь невыгоден, там применяют поиск по документам (RAG). Риски: модель может растерять часть прежних умений, а данные клиентов из обучающего набора могут всплыть в ответах. Сравните дообученную и обычную модель на одном наборе вопросов, это удобно сделать на пилоте.

Для специалиста

Дообучение (fine-tuning) продолжает обучение предобученной модели на меньшем целевом наборе данных. Howard и Ruder (2018) в методе ULMFiT показали для классификации текста, что со 100 размеченными примерами дообученная языковая модель работает на уровне обучения с нуля на объеме в 100 раз больше. Для LLM основные режимы: обучение с учителем на инструкциях (supervised fine-tuning, SFT), выравнивание по предпочтениям (RLHF, DPO) и параметрически эффективные методы (PEFT). Метод LoRA (Hu и соавторы, 2021) замораживает исходные веса и обучает низкоранговые матрицы-добавки; по сравнению с полным дообучением GPT-3 175B это сократило число обучаемых параметров примерно в 10 000 раз, а потребность в памяти GPU примерно в 3 раза. QLoRA добавляет 4-битную квантизацию базовой модели. Риски: катастрофическое забывание (catastrophic forgetting), переобучение на малом наборе, запоминание обучающих данных. Качество сравнивают на отложенной выборке и общих бенчмарках до и после.

Пример

Служба доставки дообучила модель на нескольких тысячах размеченных обращений. Теперь она сама относит каждое письмо к одной из двенадцати категорий и передает его нужному отделу.

Связанные термины

Вопросы и ответы

Чем дообучение отличается от RAG?

Дообучение меняет веса модели и учит ее навыку или стилю. RAG ничего в модели не меняет, а в момент вопроса подкладывает ей нужные документы, поэтому подходит для часто меняющихся знаний.

Сколько примеров нужно для дообучения?

Зависит от задачи и метода. Для узкой классификации иногда хватает нескольких сотен качественных примеров, для смены стиля сложных текстов нужно больше. Надежнее начать с небольшого набора и проверить прирост качества на отложенных вопросах.

Источники

Где это применяют в компании

Пилот ИИ-агента: один агент на одном процессе

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений