Словарь ИИ
Что такое базовая модель
Коротко
Базовая модель (foundation model) это большая нейросеть, обученная на огромном объеме общих данных, которую потом приспосабливают к множеству конкретных задач.
Языковые модели · foundation model
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь большой набор конструктора. Из одних и тех же деталей можно собрать машину, замок или ракету, если добавить пару особых кубиков и инструкцию. Строить с нуля каждый раз не нужно. Такая нейросеть похожа на этот набор: из нее делают помощников для самых разных дел.
Простыми словами
Раньше под каждую задачу учили отдельную нейросеть: одну для перевода, другую для поиска спама. Базовую модель сначала долго обучают на огромном количестве текстов, картинок или кода, и она получает общие знания о языке и мире. Потом из нее быстро делают нужного помощника: чат-бота, переводчика, систему проверки документов. Для этого хватает небольшого дообучения или хорошей инструкции. Как выпускник школы: общее образование уже есть, профессии он учится за месяцы, а не за годы.
Для бизнеса
Компании почти никогда не обучают такую основу сами: это стоит огромных денег и требует дата-центров. Выгоднее взять готовую и приспособить: дать ей инструкции, подключить документы через поиск, при необходимости дообучить на своих примерах. Выбор основы определяет многое: качество на русском языке, длину документов, которые она читает, цену запроса, возможность запуска на своих серверах. Риск в зависимости: если все решения построены на одной модели, ее ошибки и предвзятость наследуют все сервисы компании, а смена поставщика обходится дорого. Поэтому архитектуру строят так, чтобы основу можно было заменить. Как устроены уровни ИИ в компании, от модели до процессов, объясняет отдельный разбор.
Для специалиста
Термин «foundation model» ввели исследователи стэнфордского центра CRFM в работе Bommasani и др. (2021): модель, обученная на широких данных в большом масштабе, обычно самообучением (self-supervised learning), и адаптируемая к широкому кругу последующих задач (downstream tasks). Примеры в работе: BERT, GPT-3, DALL-E. Авторы выделили два свойства: появление новых способностей с ростом масштаба (emergence) и гомогенизацию, при которой дефекты одной основы наследуют все адаптированные из нее системы. Адаптация идет через дообучение (fine-tuning), инструктивную настройку, параметрически эффективные методы (PEFT, LoRA), промптинг и RAG. В русской речи базовой также называют версию модели сразу после предобучения, до инструктивной настройки и выравнивания (base model, в отличие от instruct- или chat-версии).
Пример
Компания берет готовую базовую модель и за две недели делает из нее ассистента отдела закупок: пишет инструкции, подключает каталог поставщиков и договоры. Обучать модель с нуля не пришлось.
Связанные термины
Вопросы и ответы
Чем базовая модель отличается от обычной нейросети?
Чем базовая модель отличается от чат-модели?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений