Словарь ИИ
Что такое GGUF
Коротко
GGUF это формат файла для языковых моделей, в котором веса и все сведения для запуска лежат в одном файле, чаще всего в сжатом виде для локального запуска.
Инфраструктура · GGUF
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь, что ты собираешь конструктор. Бывает, детали лежат в одной коробке, инструкция в другой, а наклейки вообще потерялись. А бывает набор, где все в одной коробке: детали, схема и наклейки. Открыл и собрал. Такой файл похож на коробку, где для умного помощника все сложено вместе, поэтому его легко запустить даже на домашнем компьютере.
Простыми словами
Когда вы скачиваете нейросеть, чтобы запустить ее у себя, вы получаете файл с весами: миллиардами чисел, из которых состоит модель. Файлы GGUF удобны тем, что внутри лежат и сами числа, и описание модели: ее устройство, словарь токенов, длина контекста. Программе не нужно искать дополнительные файлы. Обычно такие модели уже сжаты, поэтому помещаются в память ноутбука. Например, вы выбираете на сайте с моделями файл с пометкой Q4_K_M, открываете его в LM Studio или Ollama и вскоре разговариваете с моделью без интернета.
Для бизнеса
Для компании этот формат означает быстрый путь к пилоту на своем железе: открытую модель можно скачать готовой к запуску, без конвертации и без инженера по машинному обучению на старте. Выбор конкретного файла это выбор между качеством и стоимостью железа: сильнее сжатый вариант помещается в более дешевую видеокарту или Mac, но хуже справляется со сложными задачами. Риски: такие файлы выкладывают не только авторы моделей, но и сторонние люди, поэтому берите их из проверенных репозиториев и проверяйте лицензию исходной модели. Для серверной нагрузки с десятками одновременных пользователей часто выбирают другие движки и форматы. Варианты сравнивают на ваших задачах до покупки железа.
Для специалиста
GGUF это бинарный формат файлов моделей для инференса на GGML и совместимых движках; его разработал автор движка llama.cpp. Формат пришел на смену GGML, GGMF и GGJT. Главное отличие от GGJT: метаданные, раньше гиперпараметры, хранятся как типизированные пары ключ-значение, поэтому новые поля добавляют без поломки старых файлов. Цели спецификации: развертывание одним файлом, совместимость с mmap для быстрой загрузки, полный набор сведений для запуска внутри файла. Структура: заголовок с магическим числом, версией и счетчиками, метаданные (архитектура, длина контекста, токенизатор), описания тензоров с типом и смещением, выравнивание (по умолчанию 32 байта) и данные. Типы квантизации: K-кванты от Q2_K до Q6_K, IQ-варианты с матрицей важности, устаревшие Q4_0 и Q8_0; например, Q4_K дает 4,5 бита на вес. В отличие от safetensors, где лежат только тензоры, здесь есть стандартизованные метаданные.
Пример
Отдел закупок хочет проверить, справится ли открытая модель с разбором коммерческих предложений. Аналитик скачивает два файла одной модели с разной степенью сжатия, прогоняет на каждом двадцать реальных писем и видит, что облегченная версия путает суммы. Компания берет вариант покрупнее и видеокарту с большей памятью.
Связанные термины
Вопросы и ответы
Чем GGUF отличается от safetensors?
Что значат буквы вроде Q4_K_M в названии файла?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений