Словарь ИИ

Что такое квантизация

Коротко

Квантизация это сжатие нейросети, при котором ее числа хранят с меньшей точностью, чтобы модель занимала меньше памяти и работала быстрее.

Языковые модели · quantization

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Представь, что ты рисуешь радугу. В большой коробке сто карандашей почти одинаковых оттенков, а в маленькой всего десять. Рисунок маленькой коробкой выйдет чуть проще, зато она легко поместится в рюкзак. Нейросеть тоже можно переложить в маленькую коробку: она станет легче и быстрее, а ответы почти не изменятся.

Простыми словами

Внутри языковой модели миллиарды чисел, и каждое записано очень подробно, с множеством знаков после запятой. Квантизация округляет эти числа: вместо длинной записи остается короткая. Модель худеет в два-четыре раза и помещается на обычную видеокарту или даже ноутбук. Смысл ответов почти не страдает, потому что важны не мелкие хвосты чисел, а их общий порядок. Похоже на фотографию в сжатом формате: файл весит меньше, а лицо на снимке узнается так же.

Для бизнеса

Для компании это вопрос денег за железо. Модель, которой в полной точности нужен сервер с несколькими дорогими видеокартами, после сжатия до 8 или 4 бит часто работает на одной. Так дешевле запустить ИИ на своих серверах, где данные клиентов не уходят наружу. Цена зависит от размера модели, выбранной разрядности и нагрузки: сколько сотрудников спрашивают одновременно. Риск в том, что сильное сжатие портит редкие навыки: длинные расчеты, точные цитаты, ответы на узкие темы. Поэтому сжатую версию сравнивают с исходной на ваших реальных вопросах до покупки оборудования. Подбор видеокарты под конкретную модель удобно сделать заранее, по расчету памяти.

Для специалиста

Квантизация (quantization) переводит веса, а иногда и активации модели из формата с плавающей точкой (FP16, BF16) в целые числа низкой разрядности (INT8, INT4) с масштабом и нулевой точкой на группу значений. Различают сжатие после обучения (post-training quantization, PTQ) и обучение с его учетом (quantization-aware training, QAT). Для больших языковых моделей главная трудность в выбросах: редкие признаки с большой амплитудой ломают общий масштаб. LLM.int8() (Dettmers и др., 2022) оставляет такие измерения в 16 битах, остальное умножает в 8 битах и без потери качества вдвое сокращает память на инференсе. GPTQ (Frantar и др., 2022) использует приближенную информацию второго порядка и сжимает веса модели на 175 млрд параметров до 3-4 бит примерно за четыре GPU-часа. Близкие подходы: AWQ, формат GGUF для локального запуска, QLoRA для дообучения поверх 4-битной модели.

Пример

Компании нужен ассистент по внутренним регламентам на своем сервере. Модель в полной точности не помещается в память одной видеокарты, а 4-битная версия помещается и отвечает на тестовые вопросы почти так же. Компания покупает одну карту вместо двух.

Связанные термины

Вопросы и ответы

Чем квантизация отличается от дистилляции?

Квантизация оставляет ту же модель и только округляет ее числа. Дистилляция обучает новую, меньшую модель повторять ответы большой. Оба метода часто применяют вместе.

Насколько падает качество после квантизации?

При 8 битах потери обычно почти незаметны. При 3-4 битах они небольшие, если метод хороший, а ниже качество проседает заметнее. Проверять нужно на своих задачах, а не по общим таблицам.

Источники

Где это применяют в компании

Видеокарты для ИИ: какие подходят и сколько стоят в России

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений