Словарь ИИ

Термины инфраструктуры ИИ

На чем работает ИИ: видеокарты, серверы, облако, квантизация и запуск модели на своем оборудовании.

Михаил МозгПроверено: 16 октября 20262 минуты чтения

Термины категории

локальная модельЛокальная модель это нейросеть, которая работает на вашем компьютере или сервере, а не в облаке поставщика, поэтому данные никуда не уходят.
аренда GPUАренда GPU это оплата доступа к чужим видеокартам в дата-центре по часам или месяцам вместо покупки собственного сервера для нейросетей.
видеопамятьВидеопамять (VRAM) это память видеокарты, в которой во время работы лежат веса нейросети и ее промежуточные данные; от ее объема зависит, какая модель поместится на карту.
дата-центр для ИИДата-центр для ИИ это здание с тысячами серверов на видеокартах и других ускорителях, мощным электропитанием и охлаждением, где обучают и запускают нейросети.
лимит запросовЛимит запросов (rate limit) это ограничение, сколько запросов и токенов программа может отправить облачной нейросети за минуту или другой отрезок времени.
облачная модельОблачная модель это нейросеть, которая работает на серверах поставщика, а вы пользуетесь ею через сайт, приложение или API и платите за объем запросов.
периферийный ИИПериферийный ИИ (edge AI) это нейросети, которые работают прямо на устройстве или рядом с ним: в камере, станке, телефоне, а не в удаленном облаке.
развертывание в контуреРазвертывание в контуре (on-premise) это установка ИИ-системы на серверы внутри сети компании, где модель, данные и доступы остаются под ее контролем.
суверенный ИИСуверенный ИИ это нейросети и инфраструктура под контролем страны или компании: разработка, серверы и данные находятся у себя, а не у иностранного поставщика.
токены в секундуТокены в секунду это скорость, с которой нейросеть пишет ответ: сколько кусочков текста она выдает за одну секунду.
APIAPI (application programming interface) это программный интерфейс: набор правил, по которым одна программа отправляет запросы другой и получает ответ, например от нейросети в облаке.
API-ключAPI-ключ это секретная строка, по которой сервис нейросети узнает, какая программа к нему обращается и с чьего счета списать оплату за запросы.
CUDACUDA это платформа и модель программирования NVIDIA, через которую программы используют видеокарту для параллельных вычислений, в том числе для обучения и запуска нейросетей.
FLOPSFLOPS (floating point operations per second) это число операций с плавающей точкой в секунду, мера вычислительной мощности процессоров и видеокарт для нейросетей.
GGUFGGUF это формат файла для языковых моделей, в котором веса и все сведения для запуска лежат в одном файле, чаще всего в сжатом виде для локального запуска.
GPUGPU (graphics processing unit) это графический процессор: чип, который выполняет тысячи одинаковых вычислений одновременно, поэтому на нем обучают и запускают нейросети.
NPUNPU (neural processing unit) это нейропроцессор: блок внутри чипа телефона или ноутбука, который запускает нейросети прямо на устройстве и тратит на это мало энергии.
TPUTPU (tensor processing unit) это тензорный процессор: специализированный чип Google, который ускоряет обучение и работу нейросетей за счет быстрого умножения матриц.

Термины категории

Все категории словаря