Словарь ИИ
Что такое GPU
Коротко
GPU (graphics processing unit) это графический процессор: чип, который выполняет тысячи одинаковых вычислений одновременно, поэтому на нем обучают и запускают нейросети.
Инфраструктура · graphics processing unit
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь, что нужно раскрасить тысячу одинаковых картинок. Один художник будет рисовать очень долго, а целый класс справится за урок, если каждый возьмет свою картинку. Обычный процессор похож на одного умного художника. GPU похож на целый класс: каждый ученик делает простую работу, зато все вместе и одновременно. Нейросетям как раз нужно много простой работы сразу.
Простыми словами
Видеокарты придумали для компьютерных игр. Чтобы нарисовать кадр, нужно посчитать цвет миллионов точек на экране, и все эти расчеты похожи друг на друга. Позже выяснилось, что нейросеть устроена так же: ее работа сводится к огромному числу умножений и сложений, которые можно делать параллельно. Поэтому видеокарта считает нейросеть намного быстрее обычного процессора. Когда вы задаете вопрос чат-боту, ответ, скорее всего, считает видеокарта в дата-центре. А небольшую модель можно запустить и на домашнем компьютере, если у его видеокарты хватает памяти.
Для бизнеса
Если модель работает на своих серверах, графический процессор становится главной статьей расходов на ИИ. Цену определяет прежде всего объем видеопамяти: от него зависит, какая модель поместится и сколько запросов сервер обработает одновременно. Путей три: купить сервер, арендовать видеокарты по часам или платить облачному API за токены. Покупка окупается при ровной и большой нагрузке, аренда подходит для проверки гипотез и пиков, облачный API для старта. До закупки посчитайте нагрузку в запросах в день, требования к хранению данных, электричество, охлаждение и то, кто будет обслуживать железо. Такой расчет делают на пилоте с реальными запросами, а не по паспорту видеокарты.
Для специалиста
Графический процессор (graphics processing unit) это массово-параллельный ускоритель с моделью исполнения SIMT (single instruction, multiple threads): потоки идут группами (warp), и каждая группа выполняет одну инструкцию над разными данными, а на чипе одновременно работают тысячи потоков. Как сказано в руководстве NVIDIA по CUDA, такой чип отдает больше транзисторов под обработку данных, а не под кэш и управление потоком команд, и выигрывает у CPU по пропускной способности инструкций и памяти. Для нейросетей это решает дело, потому что обучение и инференс сводятся к умножению матриц (GEMM) и сверткам. Перелом наступил в 2012 году: Krizhevsky, Sutskever и Hinton обучили сверточную сеть AlexNet с 60 млн параметров на эффективной реализации для видеокарт. Сейчас для LLM важны объем и пропускная способность памяти (HBM или GDDR), производительность в форматах FP16, BF16, FP8 и INT8, а также скорость связи между картами (NVLink, PCIe). Альтернативы: TPU, NPU и другие специализированные ускорители (ASIC).
Пример
Интернет-магазин запускает ИИ-ассистента на своем сервере. Днем запросов много, ночью почти нет, поэтому на время пилота компания арендует GPU по часам и покупает сервер, только когда нагрузка стала понятной.
Связанные термины
Вопросы и ответы
Какая видеокарта нужна для ИИ?
Зачем GPU в ИИ, если есть обычный процессор?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений