Словарь ИИ
Что такое TPU
Коротко
TPU (tensor processing unit) это тензорный процессор: специализированный чип Google, который ускоряет обучение и работу нейросетей за счет быстрого умножения матриц.
Инфраструктура · tensor processing unit
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь, что в классе есть ученик, который умеет все: рисовать, петь, решать задачи. А есть другой, он умеет только складывать столбиком, зато делает это быстрее всех в школе. Если нужно сложить миллион чисел, позовут второго. Умные помощники все время складывают и умножают огромные таблицы чисел. Для них и придумали такого ученика-чип: он знает одно дело, но делает его очень быстро.
Простыми словами
Обычный процессор компьютера универсальный: открывает файлы, показывает видео, считает таблицы. Видеокарта решает много одинаковых задач сразу. Тензорный процессор пошел еще дальше: его спроектировали только под вычисления нейросетей. Почти вся работа модели сводится к умножению больших таблиц чисел, и в этом чипе стоит отдельный блок, который перемножает их целиком, как конвейер. Google ставит такие чипы в свои дата-центры и сдает их мощность в облаке. Например, разработчик обучает модель распознавания товаров на складе и платит за время работы этих чипов по часам.
Для бизнеса
Для большинства компаний TPU это не покупка железа, а один из вариантов аренды вычислений в облаке Google наряду с видеокартами. Он выгоден на долгом обучении больших моделей и на рекомендательных системах с огромными таблицами эмбеддингов. Задачи с частыми ветвлениями, нестандартными операциями или расчетами высокой точности документация Google сама называет неподходящими. Цена зависит от числа чипов, срока резерва и региона. Риски: код и модель привязываются к облаку одного поставщика, а данные обрабатываются за пределами России, что упирается в требования к персональным данным. Поэтому до выбора сравнивают облачные ускорители, аренду GPU в России и свой сервер; такое сравнение входит в карту ИИ-решений.
Для специалиста
Tensor Processing Unit это специализированная интегральная схема (ASIC), которую Google разработала для ускорения машинного обучения. Jouppi и соавторы (2017) описали первое поколение: чип работает в дата-центрах компании с 2015 года, его матричный блок содержит 65 536 восьмибитных умножителей-накопителей (MAC) и дает пиковые 92 триллиона операций в секунду (TOPS). На инференсе он оказался в 15-30 раз быстрее современных ему CPU и GPU и в 30-80 раз эффективнее по операциям на ватт. Основа архитектуры: систолический массив (systolic array) в блоке MXU; в текущей документации Cloud TPU это массив 128 на 128, поэтому размерности тензоров выгодно делать кратными 128. Программы для чипа компилирует XLA (Accelerated Linear Algebra), чипы объединяют в срезы (slices) для распределенного обучения. Плохо подходят модели с динамическими формами тензоров и собственными операциями в цикле обучения.
Пример
Стартап обучает модель рекомендаций для маркетплейса на миллиардах просмотров. Вместо покупки серверов команда арендует срез тензорных процессоров на время обучения, а готовую модель запускает уже на обычных видеокартах.
Связанные термины
Вопросы и ответы
Чем TPU отличается от GPU?
Как получить доступ к TPU?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений