Словарь ИИ
Что такое веса
Коротко
Веса это числа внутри нейросети, которые задают силу связей между ее элементами и хранят все, чему модель научилась при обучении.
Языковые модели · weights
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь, что ты учишься бросать мяч в корзину. После каждого промаха ты чуть меняешь силу броска и наклон руки. Через неделю рука сама знает, как бросать. У нейросети тоже есть такие запомненные привычки, только записаны они числами. Каждое число подсказывает, насколько сильно один кусочек сети должен прислушиваться к другому.
Простыми словами
Нейросеть состоит из множества простых элементов, соединенных между собой. У каждой связи есть число: оно показывает, насколько сильно сигнал одного элемента влияет на следующий. Эти числа и называют весами. В начале обучения их выбирают почти случайно, поэтому ответы получаются бессмысленными. Затем модель тысячи раз ошибается, и после каждой ошибки программа немного поправляет связи. Когда учеба закончена, результат записывают на диск. Скачанная открытая модель занимает десятки гигабайт именно потому, что в ней лежат миллиарды таких коэффициентов.
Для бизнеса
Веса и есть сама модель как товар. Тот, у кого есть их файл, может запустить нейросеть на своем сервере без интернета и без передачи данных поставщику. Поэтому разработчики либо держат их закрытыми и продают доступ через API, либо публикуют под лицензией. Перед запуском открытой модели в компании проверьте три вещи: разрешает ли лицензия коммерческое использование, хватит ли видеопамяти под объем файла и откуда он скачан. Копия из неофициального источника может быть изменена. Дообучение на ваших примерах меняет коэффициенты или добавляет к ним адаптер, и такой файл становится активом компании: его хранят и защищают как исходный код. Выбор между своим сервером и облаком разбирают в карте ИИ-решений.
Для специалиста
Веса (weights) это обучаемые коэффициенты нейросети: элементы матриц линейных слоев, на которые умножается входной вектор. Вместе со смещениями (biases) и коэффициентами нормализации они образуют параметры модели. В трансформере основная их часть сосредоточена в проекциях внимания и полносвязных блоках, отдельно хранится матрица эмбеддингов словаря. Значения находят градиентным спуском: обратное распространение ошибки (backpropagation) вычисляет градиент функции потерь по каждому весу, а оптимизатор вроде AdamW сдвигает его на малый шаг. При инференсе они заморожены. В PyTorch их держат в словаре состояния (state_dict), который сопоставляет каждому слою его тензоры параметров. Для публикации используют формат safetensors: Hugging Face описывает его как безопасную альтернативу pickle с быстрой загрузкой без копирования (zero-copy). Хранят их в FP32, BF16 или FP16, для запуска часто квантизуют до меньшей разрядности, а адаптеры LoRA обучают небольшие добавки, не трогая исходные матрицы.
Пример
Банк хочет запустить модель внутри своего контура. Он скачивает файл весов открытой модели с официальной страницы разработчика, сверяет контрольную сумму и разворачивает его на своем сервере: тексты клиентов никуда не уходят.
Связанные термины
Вопросы и ответы
Что такое веса в нейросети?
Чем веса отличаются от параметров модели?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений