Словарь ИИ
Что такое модальность в ИИ
Коротко
Модальность в ИИ это вид данных, с которым работает модель: текст, изображение, звук, видео, таблица или сигнал датчика.
Основы ИИ · modality
Михаил МозгПроверено: 1 минута чтения
Ребенку
У тебя есть глаза, уши, нос и руки, и каждый помощник узнает о мире свое: глаза видят цвет, уши слышат музыку, руки чувствуют, горячо или холодно. Компьютер тоже получает сведения разными путями: читает буквы, разглядывает картинки, слушает звуки. Каждый такой путь называют модальностью.
Простыми словами
Модальность отвечает на вопрос «в каком виде пришли данные». Письмо клиента это текст, фото накладной это изображение, звонок в поддержку это звук, запись с камеры это видео. Для каждого вида нужен свой способ превратить данные в числа: текст режут на токены, картинку на маленькие квадраты, звук на короткие отрезки. Раньше под каждый вид делали отдельную программу. Теперь модели умеют принимать несколько видов сразу и переводить один в другой: описывать фото словами или превращать текст в речь.
Для бизнеса
От модальности зависит, какой ИИ подойдет задаче и сколько он будет стоить. Разбор текстовых писем обходится дешевле всего. Сканы документов и фото требуют распознавания или визуальной модели и стоят дороже в пересчете на запрос. Звонки сначала переводят в текст, и качество этого шага сильно влияет на итог: акцент, шум и плохая связь дают ошибки в расшифровке. Перед проектом полезно составить список: какие виды данных приходят в процесс, в каком объеме, где лежат и у кого есть к ним доступ. Записи разговоров и фото лиц часто содержат персональные данные, и это сужает выбор облачных сервисов. Как сотрудникам ставить задачи таким моделям, разбирают на примерах генеративного ИИ.
Для специалиста
Т. Балтрушайтис, Ч. Ахуджа и Л.-Ф. Моренси в обзоре «Multimodal Machine Learning: A Survey and Taxonomy» (2017) определяют модальность (modality) как способ, которым что-то происходит или воспринимается, и называют задачу мультимодальной, если в ней участвует несколько таких способов. Они выделяют пять задач: представление (representation), перевод между модальностями (translation), сопоставление элементов разных источников, слияние (fusion) и совместное обучение (co-learning). На практике у каждого вида данных свой энкодер и своя токенизация: подсловные токены для текста, патчи изображения в Vision Transformer, кадры спектрограммы или дискретные аудиотокены для звука. Затем представления проецируют в общее пространство. Различают раннее слияние (early fusion), когда токены разных видов идут в одну модель, и позднее (late fusion), когда объединяют выходы отдельных моделей. Вход и выход модели могут быть разного вида: текст в изображение, речь в текст, изображение в описание.
Не путать. Не путать с модальностью в лингвистике и логике, где так называют отношение высказывания к действительности: возможность, необходимость, желательность.
Пример
Сервисная компания принимает заявки тремя способами: письмом, фото поломки в мессенджере и звонком. Модель переводит звонок в текст, описывает фото словами и сводит все три модальности в одну карточку заявки для инженера.
Связанные термины
Вопросы и ответы
Что такое модальность в нейросетях?
Какие модальности бывают?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений