Словарь ИИ
Что такое GGUF
Коротко
GGUF это формат файла для языковых моделей, в котором веса и все сведения для запуска лежат в одном файле, чаще всего в сжатом виде для локального запуска.
Инфраструктура · GGUF
Редакция ММООЗЗГГ.ruПроверено: 1 минута чтения
Ребенку
Представь, что ты собираешь конструктор. Бывает, детали лежат в одной коробке, инструкция в другой, а наклейки вообще потерялись. А бывает набор, где все в одной коробке: детали, схема и наклейки. Открыл и собрал. Такой файл похож на коробку, где для умного помощника все сложено вместе, поэтому его легко запустить даже на домашнем компьютере.
Простыми словами
Когда вы скачиваете нейросеть, чтобы запустить ее у себя, вы получаете файл с весами: миллиардами чисел, из которых состоит модель. Файлы GGUF удобны тем, что внутри лежат и сами числа, и описание модели: ее устройство, словарь токеновтокен. Токен это кусочек текста: слово, часть слова или знак, с которыми работает языковая модель., длина контекста. Программе не нужно искать дополнительные файлы. Обычно такие модели уже сжаты, поэтому помещаются в память ноутбука. Например, вы выбираете на сайте с моделями файл с пометкой Q4_K_M, открываете его в LM Studio или Ollama и вскоре разговариваете с моделью без интернета.
Для бизнеса
Для компании этот формат означает быстрый путь к пилоту на своем железе: открытую модель можно скачать готовой к запуску, без конвертации и без инженера по машинному обучениюмашинное обучение. Машинное обучение (machine learning, ML) это раздел ИИ, в котором программа находит правила в данных сама, а не получает их готовыми от разработчика. на старте. Выбор конкретного файла это выбор между качеством и стоимостью железа: сильнее сжатый вариант помещается в более дешевую видеокарту или Mac, но хуже справляется со сложными задачами. Риски: такие файлы выкладывают не только авторы моделей, но и сторонние люди, поэтому берите их из проверенных репозиториев и проверяйте лицензию исходной модели. Для серверной нагрузки с десятками одновременных пользователей часто выбирают другие движки и форматы. Варианты сравнивают на ваших задачах до покупки железа.
Для специалиста
GGUF это бинарный формат файлов моделей для инференсаинференс. Инференс это работа уже обученной модели, когда она получает запрос и вычисляет ответ, в отличие от обучения, на котором ее только настраивали. на GGML и совместимых движках; его разработал автор движка llama.cpp. Формат пришел на смену GGML, GGMF и GGJT. Главное отличие от GGJT: метаданные, раньше гиперпараметрыгиперпараметры. Гиперпараметры это настройки обучения, которые человек задает до старта и которые модель сама не меняет: скорость обучения, размер батча, число эпох, размер сети., хранятся как типизированные пары ключ-значение, поэтому новые поля добавляют без поломки старых файлов. Цели спецификации: развертывание одним файлом, совместимость с mmap для быстрой загрузки, полный набор сведений для запуска внутри файла. Структура: заголовок с магическим числом, версией и счетчиками, метаданные (архитектура, длина контекста, токенизатор), описания тензоров с типом и смещением, выравнивание (по умолчанию 32 байта) и данные. Типы квантизации: K-кванты от Q2_K до Q6_K, IQ-варианты с матрицей важности, устаревшие Q4_0 и Q8_0; например, Q4_K дает 4,5 бита на вес. В отличие от safetensors, где лежат только тензоры, здесь есть стандартизованные метаданные.
Пример
Отдел закупок хочет проверить, справится ли открытая модель с разбором коммерческих предложений. Аналитик скачивает два файла одной модели с разной степенью сжатия, прогоняет на каждом двадцать реальных писем и видит, что облегченная версия путает суммы. Компания берет вариант покрупнее и видеокарту с большей памятью.
Связанные термины
Вопросы и ответы
Источники
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений