Словарь ИИ
Что такое NPU
Коротко
NPU (neural processing unit) это нейропроцессор: блок внутри чипа телефона или ноутбука, который запускает нейросети прямо на устройстве и тратит на это мало энергии.
Инфраструктура · neural processing unit
Михаил МозгПроверено: 1 минута чтения
Ребенку
В твоем пенале лежит точилка. Она умеет только одно дело, зато справляется быстро и не отнимает силы у ручек и карандашей. В телефоне тоже живет такой маленький помощник. Он отвечает за умные фокусы: узнает лицо на фото, переводит слова, убирает шум, когда ты разговариваешь с бабушкой. А батарейка при этом садится медленнее.
Простыми словами
В современном смартфоне или ноутбуке несколько вычислительных блоков. Центральный процессор ведет всю систему, графический рисует картинку, а нейропроцессор берет на себя нейросети. Он быстро перемножает числа низкой точности и почти не греется. Поэтому размытие фона на видеозвонке, распознавание речи или поиск по фотографиям работают без интернета и не сажают батарею. Например, вы диктуете сообщение в метро, где нет связи, а телефон все равно превращает голос в текст: модель крутится на самом устройстве.
Для бизнеса
Для компании такой блок интересен там, где данные не стоит отправлять в облако: на ноутбуках сотрудников, в терминалах, камерах и кассах. Модель на устройстве отвечает без задержки сети, работает офлайн и не создает расходов на токены. Ограничения тоже есть: блок рассчитан на небольшие сжатые модели, и языковая модель уровня облачных сервисов туда не поместится. Требования к железу вендоры задают в операциях в секунду: для функций Copilot+ PC Microsoft требует NPU от 40 триллионов операций в секунду (TOPS). Перед закупкой парка устройств проверьте, поддерживает ли нужная программа этот ускоритель и какой будет скорость на ваших задачах; такие замеры делают на пилоте.
Для специалиста
Нейропроцессор (neural processing unit, NPU) это специализированный ускоритель операций глубокого обучения, встроенный в систему на кристалле (SoC) рядом с CPU и GPU. Аппаратно это массивы блоков умножения-накопления, оптимизированные под целочисленную арифметику низкой разрядности. Как отмечает Microsoft в руководстве для разработчиков Copilot+ PC, многие такие устройства поддерживают только целочисленные вычисления вроде INT8, поэтому модели из FP32 сначала квантуют. Приложение обращается к блоку не напрямую, а через рантайм и провайдеры исполнения (execution providers): в Windows это Windows ML: он работает поверх ONNX Runtime, сам находит ускоритель и при сбое откатывается на GPU или CPU. Похожие блоки есть в мобильных чипах разных производителей. Производительность указывают в TOPS, но реальную скорость определяют пропускная способность памяти, поддержка операторов конкретной модели и качество компилятора.
Пример
Сервисная компания выдает инженерам ноутбуки с нейропроцессором. Расшифровка голосовых заметок с объекта и поиск по инструкциям работают на самом ноутбуке, даже в подвале без связи, и записи не уходят во внешний сервис.
Связанные термины
Вопросы и ответы
Чем NPU отличается от GPU?
Можно ли запустить языковую модель на нейропроцессоре?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений