Словарь ИИ
Что такое видеопамять
Коротко
Видеопамять (VRAM) это память видеокарты, в которой во время работы лежат веса нейросети и ее промежуточные данные; от ее объема зависит, какая модель поместится на карту.
Инфраструктура · VRAM
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь парту, за которой ты делаешь уроки. Если парта большая, на ней помещаются учебник, тетрадь и карандаши, и все под рукой. Если маленькая, приходится то и дело бегать к шкафу за нужной книгой, и работа идет медленно. У видеокарты тоже есть такая парта. Чем она больше, тем более крупного помощника можно разложить на ней целиком.
Простыми словами
У видеокарты своя память, отдельная от обычной оперативной. Нейросеть перед работой загружают в нее целиком: все числа, из которых состоит модель. Еще место нужно под текст разговора, который модель держит перед глазами, пока отвечает. Если памяти не хватает, модель либо не запустится, либо часть ее придется держать в обычной памяти компьютера, и ответы станут заметно медленнее. Поэтому при выборе видеокарты для нейросети сначала смотрят не на скорость, а на объем памяти в гигабайтах.
Для бизнеса
Объем видеопамяти определяет бюджет локального ИИ сильнее любого другого параметра. Он задает, какую модель можно запустить, какой длины документы она прочитает за раз и сколько сотрудников смогут работать с ней одновременно. Карты с большим объемом стоят непропорционально дороже, поэтому модель часто сжимают, чтобы уложиться в одну карту вместо двух. Типичная ошибка: считать только размер модели и забыть про длинные запросы и параллельных пользователей. Сервер покупают, а под реальной нагрузкой памяти не хватает. Объем считают по своим сценариям с запасом на рост и проверяют на тестовом стенде до закупки.
Для специалиста
Видеопамять (video RAM, VRAM) это память на плате ускорителя: GDDR в потребительских и части серверных карт, HBM в старших серверных ускорителях, с пропускной способностью намного выше системной DRAM. При инференсе LLM в ней размещаются веса, кэш ключей и значений внимания (KV cache) для каждого запроса и активации. Kwon и др. (2023) приводят пример: модель на 13 млрд параметров на A100 с 40 ГБ, где около 65% памяти занимают веса (26 ГБ), а почти 30% уходит на KV-кэш, который растет с длиной контекста и числом параллельных запросов. Неэффективное выделение памяти под кэш ведет к фрагментации, поэтому авторы предложили PagedAttention и движок vLLM. Объем весов оценивают как число параметров, умноженное на байты на параметр; квантизация до 4 или 8 бит сокращает его в разы. Если модель не помещается, llama.cpp переносит на GPU только часть слоев (offloading), а остальные считает CPU, ценой скорости.
Пример
Компания выбирает видеокарту для модели, которая отвечает сотрудникам по базе знаний. Сжатая модель занимает около половины памяти карты, а остальное уходит на длинные регламенты в запросах и на десяток одновременных пользователей.
Связанные термины
Вопросы и ответы
Сколько видеопамяти нужно для нейросети?
Можно ли запустить модель, если видеопамяти не хватает?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений