Словарь ИИ

Что такое параметры модели

Коротко

Параметры модели это числа внутри нейросети, которые она подбирает при обучении и по которым потом вычисляет каждый ответ.

Языковые модели · parameters

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Представь огромный пульт с тысячами маленьких ручек, как у звукорежиссера на концерте. Сначала все ручки стоят как попало, и музыка звучит ужасно. Мастер долго подкручивает каждую, пока песня не зазвучит красиво. У нейросети тоже есть такие ручки, только вместо громкости они настраивают, какие слова поставить рядом.

Простыми словами

Внутри нейросети миллиарды чисел, их и называют параметрами или весами. При обучении программа снова и снова сверяет свой ответ с правильным и чуть-чуть сдвигает эти числа, чтобы в следующий раз ошибиться меньше. Когда обучение закончено, числа замораживают и сохраняют в файл. Каждый ваш запрос проходит через них как через огромную формулу. Чем их больше, тем больше закономерностей модель способна уловить, но и файл тяжелее: модель на десятки миллиардов чисел не запустится на обычном ноутбуке.

Для бизнеса

Число параметров подсказывает, какое железо понадобится для своей модели. Каждый параметр занимает память видеокарты: при 16-битной точности это два байта, значит модели на 70 млрд параметров нужно около 140 ГБ только под веса, без запаса на запросы. Квантизация сжимает веса в два-четыре раза ценой небольшой потери качества. Размер не равен пользе: Hoffmann и соавторы (2022) показали, что Chinchilla на 70 млрд параметров обошла Gopher на 280 млрд, потому что училась на большем объеме данных. Поэтому модель выбирают по результату на ваших задачах, а сервер считают под выбранный размер, еще до покупки оборудования.

Для специалиста

Параметры (parameters) это обучаемые величины модели: веса (weights) и смещения (biases) линейных слоев, матрицы эмбеддингов, коэффициенты нормализации. В трансформере основная их доля приходится на проекции внимания и полносвязные блоки (feed-forward), и их число растет пропорционально квадрату ширины слоя и числу слоев. Значения подбирают градиентным спуском по функции потерь, а гиперпараметры, например скорость обучения и размер батча, задает инженер. Kaplan и соавторы (2020) нашли степенную зависимость ошибки от числа параметров, данных и вычислений. По опыту обучения более 400 моделей Hoffmann и соавторы (2022) рекомендовали удваивать обучающие токены при каждом удвоении размера. В смесях экспертов (mixture of experts) различают общее число параметров и активные на токен. Память под веса равна числу параметров, умноженному на байты на параметр: 2 для FP16 и BF16, около 0,5 для 4-битной квантизации.

Пример

Компания выбирала модель для своего сервера. Вариант на 70 млрд параметров в 16-битной точности требовал двух видеокарт по 80 ГБ, а модель вдвое меньше после проверки на сотне писем клиентов отвечала почти так же и поместилась на одну.

Связанные термины

Вопросы и ответы

Что значит 7B или 70B в названии модели?

Буква B означает billion, то есть миллиард. Модель 70B содержит около 70 миллиардов параметров, и это главный ориентир для расчета памяти сервера.

Чем параметры отличаются от весов?

В разговоре о размере модели это синонимы. Строго говоря, к параметрам относят и веса, и смещения, и другие обучаемые числа, но на практике слова используют как равные.

Источники

Где это применяют в компании

Видеокарты для ИИ: память, потребление и цены в России

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений