Словарь ИИ
Что такое мультимодальность
Коротко
Мультимодальность (multimodality) это способность модели ИИ работать сразу с несколькими видами данных: текстом, изображениями, звуком и видео.
Основы ИИ · multimodality
Михаил МозгПроверено: 1 минута чтения
Ребенку
Чтобы выбрать арбуз, ты смотришь на него, стучишь по корке и слушаешь звук, а дома пробуешь кусочек. Подсказки от глаз, ушей и языка ты собираешь вместе. Раньше компьютер умел что-то одно: или читать, или смотреть картинки. Теперь бывают программы, которые смотрят на рисунок и тут же рассказывают о нем словами или отвечают на вопрос по фотографии.
Простыми словами
Модальностью называют вид данных: текст, картинку, звук, видео. Обычная языковая модель понимает только текст. Мультимодальная принимает несколько видов сразу: вы показываете фото счетчика и спрашиваете, какие на нем цифры, или загружаете запись совещания и просите список решений. Внутри разные данные переводятся в общий набор чисел, поэтому модель связывает слово «кошка» с изображением кошки. Бывают модели, которые только читают картинки, и такие, которые сами рисуют, говорят и создают видео.
Для бизнеса
Для бизнеса это значит, что один ИИ-ассистент читает сканы документов, фото с объекта, снимки экрана с ошибками и голосовые сообщения, а не только текст. Курьер присылает фото поврежденной коробки, и система сама оформляет претензию. Инженер фотографирует табличку на оборудовании и получает нужную инструкцию. Картинки и аудио обходятся дороже текста: одно изображение занимает в модели много токенов, а видео еще больше. Модель может уверенно ошибиться в мелких цифрах на фото, поэтому важные поля сверяют с учетной системой. На каких задачах такие возможности окупаются, разбирают на примерах генеративного ИИ в работе.
Для специалиста
Мультимодальные модели (multimodal models) обрабатывают и сопоставляют несколько модальностей. Ключевой прием: общее пространство представлений (joint embedding space). CLIP (Radford и др., 2021) обучили на 400 млн пар «изображение и текст» из интернета угадывать, какая подпись относится к какой картинке; модель переносится на новые задачи без дообучения (zero-shot), авторы проверили ее более чем на 30 наборах данных. Flamingo (Alayrac и др., 2022) соединил предобученные визуальную и языковую модели и решает новые задачи по нескольким примерам на чередующихся последовательностях картинок и текста. GPT-4, по техническому отчету OpenAI 2023 года, принимает на вход изображения и текст и выдает текст. Архитектуры различаются: отдельные энкодеры с проекцией в языковую модель (vision-language models), раннее слияние токенов разных модальностей, модели с генерацией на выходе (any-to-any). Оценивают их на задачах вроде ответов на вопросы по изображению (visual question answering).
Пример
Страховая компания принимает от клиента фото повреждения машины и короткое голосовое сообщение. Модель описывает повреждения, сверяет их с полисом и готовит черновик заявления для сотрудника.
Связанные термины
Вопросы и ответы
Что такое мультимодальная модель?
Чем мультимодальность полезна компании?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений