Словарь ИИ

Что такое предобучение

Коротко

Предобучение это первый большой этап создания языковой модели, на котором она учится угадывать продолжение текста по огромному массиву книг, сайтов и кода.

Языковые модели · pretraining

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Прежде чем стать врачом или поваром, человек много лет ходит в школу и читает обо всем подряд: о планетах, животных, истории. Это еще не профессия, но без такой базы ей не научиться. Нейросеть тоже сначала долго читает горы разных текстов, чтобы понять, как устроен язык. Конкретному делу ее учат уже потом.

Простыми словами

Сначала модель ничего не знает. Ей показывают огромное количество текстов из интернета, книг и программного кода и ставят одну задачу: угадать следующий кусочек текста. Ошиблась, чуть поправила внутренние настройки, угадала, двигается дальше. Никто не размечает примеры вручную, учителем служит сам текст. За миллиарды таких попыток модель усваивает грамматику, факты о мире и зачатки рассуждений. После этого этапа она умеет продолжать текст, но плохо слушается указаний: на вопрос может ответить новым вопросом. Вежливым помощником ее делают на следующих этапах.

Для бизнеса

Этот этап требует огромных вычислительных кластеров и долгой работы, поэтому компании почти никогда не проводят его сами. Бизнес берет уже готовую модель, открытую или облачную, и приспосабливает ее к своим задачам инструкциями, поиском по документам или дообучением. Из предобучения важны два следствия. Знания модели заканчиваются датой сбора данных, поэтому свежие цены и правила ей нужно передавать в запросе. А ошибки и перекосы обучающих текстов модель унаследовала. Перед выбором проверьте лицензию на использование весов, дату среза знаний и качество работы на русском языке. Сравнение готовых моделей на ваших задачах обычно делают на пилоте.

Для специалиста

Предобучение (pretraining) это обучение модели на большом неразмеченном корпусе с самоконтролируемой целью (self-supervised objective). Для декодерных моделей цель это предсказание следующего токена (causal language modeling). BERT (Devlin и соавторы, 2018) учился восстанавливать замаскированные токены (masked language modeling), после чего к нему добавляли один выходной слой и дообучали под задачу. Brown и соавторы (2020) показали, что GPT-3 после одного лишь предобучения справляется с новыми задачами, если показать ей пару образцов прямо в тексте промпта. Hoffmann и соавторы (2022) обосновали, что при фиксированном бюджете вычислений размер модели и число обучающих токенов нужно наращивать в равной пропорции. Ключевые решения этапа: состав и фильтрация корпуса, дедупликация, доля кода и языков, выбор токенизатора, расписание скорости обучения. Результат называют базовой моделью (base model), за ним идут обучение на инструкциях и выравнивание.

Пример

Модель, которая прошла только предобучение, на запрос «Напиши письмо клиенту о задержке поставки» может продолжить список похожих заданий вместо письма. После дообучения на инструкциях та же модель пишет само письмо.

Связанные термины

Вопросы и ответы

Чем предобучение отличается от дообучения?

Предобучение дает модели общее знание языка и мира на огромном корпусе текстов. Дообучение потом подстраивает готовую модель под конкретный стиль, формат или задачу на гораздо меньшем наборе примеров.

Может ли компания предобучить свою модель?

Технически да, но для модели уровня современных чат-ботов нужны огромные корпуса и вычислительные кластеры. Почти всегда выгоднее взять готовую модель с открытыми весами и дообучить ее или подключить к ней поиск по документам.

Источники

Где это применяют в компании

Данные для ИИ: что измерять и как собирать в компании

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений