Словарь ИИ
Что такое законы масштабирования
Коротко
Законы масштабирования это наблюдаемые зависимости, по которым качество языковой модели предсказуемо растет с числом параметров, объемом данных и вычислений.
Языковые модели · scaling laws
Михаил МозгПроверено: 1 минута чтения
Ребенку
Когда ты строишь башню из кубиков, чем больше кубиков и времени, тем выше она получается. Ученые заметили похожее у нейросетей: если дать им больше примеров для чтения и больше времени на учебу, они ошибаются реже. Причем растут они не наугад, а по понятному правилу, и его можно заранее нарисовать на графике.
Простыми словами
Исследователи обучили много моделей разного размера и увидели закономерность. Ошибка снижается плавно и предсказуемо, когда растут три вещи: число параметров, количество текста для обучения и вычислительная мощность. На особом графике это выглядит почти прямой линией. Значит, по маленьким пробным моделям можно прикинуть, чего добьется большая, еще до ее дорогого обучения. Но каждый следующий шаг требует кратного увеличения ресурсов, а польза от него постепенно уменьшается.
Для бизнеса
Эти зависимости объясняют, почему передовые модели стоят так дорого: чтобы заметно снизить ошибку, разработчику нужно в разы больше видеокарт, электроэнергии и данных. Для компании-пользователя вывод практичный. Огромная модель нужна не всегда: на узкой задаче модель поменьше, обученная на большем объеме данных, дает похожее качество и дешевле в работе. Цена ответа зависит от размера модели, поэтому выбор размера влияет на бюджет каждый месяц. Риск в том, что графики описывают среднюю ошибку, а не вашу задачу. Поэтому модель выбирают по замерам на собственных примерах, а потом подбирают под нее сервер.
Для специалиста
Законы масштабирования (scaling laws) связывают функцию потерь с числом параметров N, объемом данных D и вычислительным бюджетом C. Kaplan и соавторы (2020) показали, что кросс-энтропия падает по степенному закону (power law) по каждому из трех факторов, причем некоторые тренды прослежены более чем на семь порядков, а ширина и глубина сети в широком диапазоне почти не влияют. Из их оценок следовало, что выгоднее обучать очень большие модели на умеренном объеме данных. Hoffmann и соавторы (2022) пересмотрели вывод: обучив больше 400 моделей, они пришли к тому, что при оптимальном бюджете параметры и токены нужно наращивать в равной пропорции. Проверкой стала Chinchilla на 70 млрд параметров: при тех же вычислениях, что у Gopher на 280 млрд, и вчетверо большем объеме данных она превзошла его на большинстве задач. Закон предсказывает среднюю потерю, но не отдельные навыки: о скачках качества спорят в теме эмерджентных способностей.
Пример
Команда выбирает модель для разбора обращений. Вместо крупнейшей из доступных она тестирует три размера на тысяче своих писем и видит, что средняя модель ошибается почти так же редко, а ответ обходится в несколько раз дешевле.
Связанные термины
Вопросы и ответы
Работают ли законы масштабирования бесконечно?
Что такое закон Chinchilla?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений