Словарь ИИ
Что такое NPU
Коротко
NPU (neural processing unit) это нейропроцессор: блок внутри чипа телефона или ноутбука, который запускает нейросети прямо на устройстве и тратит на это мало энергии.
Инфраструктура · neural processing unit
Редакция ММООЗЗГГ.ruПроверено: 1 минута чтения
Ребенку
В твоем пенале лежит точилка. Она умеет только одно дело, зато справляется быстро и не отнимает силы у ручек и карандашей. В телефоне тоже живет такой маленький помощник. Он отвечает за умные фокусы: узнает лицо на фото, переводит слова, убирает шум, когда ты разговариваешь с бабушкой. А батарейка при этом садится медленнее.
Простыми словами
В современном смартфоне или ноутбуке несколько вычислительных блоков. Центральный процессор ведет всю систему, графический рисует картинку, а нейропроцессор берет на себя нейросети. Он быстро перемножает числа низкой точности и почти не греется. Поэтому размытие фона на видеозвонке, распознавание речи или поиск по фотографиям работают без интернета и не сажают батарею. Например, вы диктуете сообщение в метро, где нет связи, а телефон все равно превращает голос в текст: модель крутится на самом устройстве.
Для бизнеса
Для компании такой блок интересен там, где данные не стоит отправлять в облако: на ноутбуках сотрудников, в терминалах, камерах и кассах. Модель на устройстве отвечает без задержки сети, работает офлайн и не создает расходов на токены. Ограничения тоже есть: блок рассчитан на небольшие сжатые модели, и языковая модельбольшая языковая модель. Большая языковая модель (LLM) это нейросеть, обученная на огромном объеме текстов, которая пишет, пересказывает и разбирает текст по запросу. уровня облачных сервисов туда не поместится. Требования к железу вендоры задают в операциях в секунду: для функций Copilot+ PC Microsoft требует NPU от 40 триллионов операций в секунду (TOPS). Перед закупкой парка устройств проверьте, поддерживает ли нужная программа этот ускоритель и какой будет скорость на ваших задачах; такие замеры делают на пилоте.
Для специалиста
Нейропроцессор (neural processing unit, NPU) это специализированный ускоритель операций глубокого обученияглубокое обучение. Глубокое обучение (deep learning) это машинное обучение на нейросетях из многих слоев, которые сами выделяют нужные признаки из сырых данных: пикселей, звука, текста., встроенный в систему на кристалле (SoC) рядом с CPU и GPU. Аппаратно это массивы блоков умножения-накопления, оптимизированные под целочисленную арифметику низкой разрядности. Как отмечает Microsoft в руководстве для разработчиков Copilot+ PC, многие такие устройства поддерживают только целочисленные вычисления вроде INT8, поэтому модели из FP32 сначала квантуют. Приложение обращается к блоку не напрямую, а через рантайм и провайдеры исполнения (execution providers): в Windows это Windows MLмашинное обучение. Машинное обучение (machine learning, ML) это раздел ИИ, в котором программа находит правила в данных сама, а не получает их готовыми от разработчика.: он работает поверх ONNX Runtime, сам находит ускоритель и при сбое откатывается на GPU или CPU. Похожие блоки есть в мобильных чипах разных производителей. Производительность указывают в TOPS, но реальную скорость определяют пропускная способность памяти, поддержка операторов конкретной модели и качество компилятора.
Пример
Сервисная компания выдает инженерам ноутбуки с нейропроцессором. Расшифровка голосовых заметок с объекта и поиск по инструкциям работают на самом ноутбуке, даже в подвале без связи, и записи не уходят во внешний сервис.
Связанные термины
Вопросы и ответы
Источники
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений