Словарь ИИ
Что такое инференс
Коротко
Инференс это работа уже обученной модели, когда она получает запрос и вычисляет ответ, в отличие от обучения, на котором ее только настраивали.
Языковые модели · inference
Михаил МозгПроверено: 1 минута чтения
Ребенку
Сначала ты долго учишь таблицу умножения, а потом на контрольной просто пользуешься знаниями: видишь пример и сразу пишешь ответ. Учеба закончилась, началось применение. У нейросети тоже два времени: когда она учится и когда помогает людям. Второе время, когда она отвечает на вопросы, и называют этим умным словом.
Простыми словами
Обучение модели происходит один раз и долго. Все, что случается потом, когда вы задаете вопрос и получаете ответ, и есть вывод модели. Компьютер берет ваш текст, прогоняет его через миллиарды сохраненных чисел и выдает ответ по кусочку. Каждый запрос требует вычислений на видеокарте, поэтому у ответа есть цена и скорость. Например, когда чат-бот магазина отвечает покупателю в два часа ночи, расчет идет на сервере продавца или в облаке поставщика.
Для бизнеса
Инференс это постоянная статья расходов на ИИ, в отличие от разового обучения. В облаке за него платят по тарифу за токены, на своем сервере покупают или арендуют видеокарты и платят за электричество и обслуживание. Цена зависит от размера модели, длины запросов и ответов, числа одновременных пользователей и требований к скорости. При большом и ровном потоке запросов свой сервер может обойтись дешевле облака, при малом и неравномерном выгоднее платить за токены. Собственные мощности к тому же оставляют данные внутри компании. Сравнение этих вариантов в рублях на ваш объем запросов делают в карте ИИ-решений до покупки железа.
Для специалиста
Инференс (inference) это прямой проход обученной модели без обновления весов. У авторегрессионной LLM он делится на две фазы: префилл (prefill), где весь промпт обрабатывается параллельно и упирается в вычисления, и декодирование (decode), где токены генерируются по одному и узким местом становится пропускная способность памяти. Kwon и соавторы (2023) предложили PagedAttention и систему vLLM: страничное управление KV-кешем почти без потерь памяти подняло пропускную способность в 2-4 раза при той же задержке по сравнению с FasterTransformer и Orca. Leviathan, Kalman и Matias (2022) описали спекулятивное декодирование (speculative decoding): малая модель предлагает несколько токенов, большая проверяет их параллельно, что ускорило T5-XXL в 2-3 раза без изменения результата. Другие приемы: непрерывное батчирование (continuous batching), квантизация весов, тензорный параллелизм. Метрики: время до первого токена (TTFT), токены в секунду, стоимость миллиона токенов.
Пример
Интернет-магазин запустил ИИ-консультанта на своем сервере. Днем приходят сотни запросов в час, и инженер настроил систему так, чтобы одна видеокарта обслуживала несколько диалогов одновременно, а ответ начинался меньше чем через секунду.
Связанные термины
Вопросы и ответы
Чем инференс отличается от обучения?
Сколько стоит инференс?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений