Словарь ИИ
Что такое инференс
Коротко
Инференс это работа уже обученной модели, когда она получает запрос и вычисляет ответ, в отличие от обучения, на котором ее только настраивали.
Языковые модели · inference
Редакция ММООЗЗГГ.ruПроверено: 1 минута чтения
Ребенку
Сначала ты долго учишь таблицу умножения, а потом на контрольной просто пользуешься знаниями: видишь пример и сразу пишешь ответ. Учеба закончилась, началось применение. У нейросети тоже два времени: когда она учится и когда помогает людям. Второе время, когда она отвечает на вопросы, и называют этим умным словом.
Простыми словами
Обучение модели происходит один раз и долго. Все, что случается потом, когда вы задаете вопрос и получаете ответ, и есть вывод модели. Компьютер берет ваш текст, прогоняет его через миллиарды сохраненных чисел и выдает ответ по кусочку. Каждый запрос требует вычислений на видеокарте, поэтому у ответа есть цена и скорость. Например, когда чат-ботчат-бот. Чат-бот это программа, которая переписывается с человеком в окне чата: на сайте, в мессенджере или в приложении. магазина отвечает покупателю в два часа ночи, расчет идет на сервере продавца или в облаке поставщика.
Для бизнеса
Инференс это постоянная статья расходов на ИИ, в отличие от разового обучения. В облаке за него платят по тарифу за токены, на своем сервере покупают или арендуют видеокарты и платят за электричество и обслуживание. Цена зависит от размера модели, длины запросов и ответов, числа одновременных пользователей и требований к скорости. При большом и ровном потоке запросов свой сервер может обойтись дешевле облака, при малом и неравномерном выгоднее платить за токены. Собственные мощности к тому же оставляют данные внутри компании. Сравнение этих вариантов в рублях на ваш объем запросов делают в карте ИИ-решенийкарта ИИ-решений. Карта ИИ-решений это документ, который показывает по каждому процессу компании, какое решение на основе ИИ подходит, сколько оно стоит и какой эффект даст в рублях. до покупки железа.
Для специалиста
Инференс (inference) это прямой проход обученной модели без обновления весов. У авторегрессионной LLM он делится на две фазы: префилл (prefill), где весь промптпромпт. Промпт это текст, которым вы ставите задачу нейросети: вопрос, инструкция, примеры и данные, по которым она пишет ответ. обрабатывается параллельно и упирается в вычисления, и декодирование (decode), где токены генерируются по одному и узким местом становится пропускная способность памяти. Kwon и соавторы (2023) предложили PagedAttention и систему vLLM: страничное управление KV-кешемKV-кэш. KV-кэш это память, в которой языковая модель хранит промежуточные результаты (ключи и значения внимания) для уже обработанных токенов, чтобы не пересчитывать их при генерации каждого нового. почти без потерь памяти подняло пропускную способность в 2-4 раза при той же задержке по сравнению с FasterTransformer и Orca. Leviathan, Kalman и Matias (2022) описали спекулятивное декодирование (speculative decoding): малая модель предлагает несколько токенов, большая проверяет их параллельно, что ускорило T5-XXL в 2-3 раза без изменения результата. Другие приемы: непрерывное батчирование (continuous batching), квантизация весов, тензорный параллелизм. Метрики: время до первого токена (TTFT), токены в секунду, стоимость миллиона токенов.
Пример
Интернет-магазин запустил ИИ-консультантаИИ-консультант. ИИ-консультант это внешний специалист, который помогает компании решить, где и как применить искусственный интеллект; так же называют чат-бота, который консультирует клиентов на сайте. на своем сервере. Днем приходят сотни запросов в час, и инженер настроил систему так, чтобы одна видеокарта обслуживала несколько диалогов одновременно, а ответ начинался меньше чем через секунду.
Связанные термины
Вопросы и ответы
Сколько стоит инференс?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений