Словарь ИИ
Что такое GPU
Коротко
GPU (graphics processing unit) это графический процессор: чип, который выполняет тысячи одинаковых вычислений одновременно, поэтому на нем обучают и запускают нейросети.
Инфраструктура · graphics processing unit
Редакция ММООЗЗГГ.ruПроверено: 1 минута чтения
Ребенку
Представь, что нужно раскрасить тысячу одинаковых картинок. Один художник будет рисовать очень долго, а целый класс справится за урок, если каждый возьмет свою картинку. Обычный процессор похож на одного умного художника. GPU похож на целый класс: каждый ученик делает простую работу, зато все вместе и одновременно. Нейросетям как раз нужно много простой работы сразу.
Простыми словами
Видеокарты придумали для компьютерных игр. Чтобы нарисовать кадр, нужно посчитать цвет миллионов точек на экране, и все эти расчеты похожи друг на друга. Позже выяснилось, что нейросеть устроена так же: ее работа сводится к огромному числу умножений и сложений, которые можно делать параллельно. Поэтому видеокарта считает нейросеть намного быстрее обычного процессора. Когда вы задаете вопрос чат-ботучат-бот. Чат-бот это программа, которая переписывается с человеком в окне чата: на сайте, в мессенджере или в приложении., ответ, скорее всего, считает видеокарта в дата-центре. А небольшую модель можно запустить и на домашнем компьютере, если у его видеокарты хватает памяти.
Для бизнеса
Если модель работает на своих серверах, графический процессор становится главной статьей расходов на ИИ. Цену определяет прежде всего объем видеопамяти: от него зависит, какая модель поместится и сколько запросов сервер обработает одновременно. Путей три: купить сервер, арендовать видеокарты по часам или платить облачному API за токены. Покупка окупается при ровной и большой нагрузке, аренда подходит для проверки гипотез и пиков, облачный API для старта. До закупки посчитайте нагрузку в запросах в день, требования к хранению данных, электричество, охлаждение и то, кто будет обслуживать железо. Такой расчет делают на пилоте с реальными запросами, а не по паспорту видеокарты.
Для специалиста
Графический процессор (graphics processing unit) это массово-параллельный ускоритель с моделью исполнения SIMT (single instruction, multiple threads): потоки идут группами (warp), и каждая группа выполняет одну инструкцию над разными данными, а на чипе одновременно работают тысячи потоков. Как сказано в руководстве NVIDIA по CUDA, такой чип отдает больше транзисторов под обработку данных, а не под кэш и управление потоком команд, и выигрывает у CPU по пропускной способности инструкций и памяти. Для нейросетей это решает дело, потому что обучение и инференс сводятся к умножению матриц (GEMM) и сверткам. Перелом наступил в 2012 году: Krizhevsky, Sutskever и Hinton обучили сверточную сетьсверточная нейросеть. Сверточная нейросеть (CNN) это нейросеть для изображений и сигналов, которая просматривает картинку небольшими окнами и собирает из мелких деталей целые объекты. AlexNet с 60 млн параметров на эффективной реализации для видеокарт. Сейчас для LLMбольшая языковая модель. Большая языковая модель (LLM) это нейросеть, обученная на огромном объеме текстов, которая пишет, пересказывает и разбирает текст по запросу. важны объем и пропускная способность памяти (HBM или GDDR), производительность в форматах FP16, BF16, FP8 и INT8, а также скорость связи между картами (NVLink, PCIe). Альтернативы: TPU, NPU и другие специализированные ускорители (ASIC).
Пример
Интернет-магазин запускает ИИ-ассистентаИИ-ассистент. ИИ-ассистент это помощник на нейросети, который по просьбе человека отвечает на вопросы, готовит тексты и выполняет простые поручения в рабочих программах. на своем сервере. Днем запросов много, ночью почти нет, поэтому на время пилота компания арендует GPU по часам и покупает сервер, только когда нагрузка стала понятной.
Связанные термины
Вопросы и ответы
Какая видеокарта нужна для ИИ?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений