Словарь ИИ
Что такое визуально-языковая модель
Коротко
Визуально-языковая модель (VLM) это нейросеть, которая принимает изображение и текст и отвечает словами: описывает фото, читает документ, отвечает на вопросы по картинке.
Языковые модели · vision-language model
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь друга, который умеет и смотреть, и говорить. Ты показываешь ему рисунок и спрашиваешь, сколько на нем котят, а он считает и отвечает. Обычная говорящая программа видит только буквы. А эта смотрит на картинку, понимает, что на ней нарисовано, и рассказывает об этом словами.
Простыми словами
Обычная языковая модель понимает только текст. Этой модели добавили зрение: отдельная часть сети превращает изображение в набор чисел, похожих на слова, и передает их языковой части. Дальше все работает как в чате, только вместе с вопросом вы отправляете фото, снимок экрана или скан. Модель может прочитать чек, описать товар на снимке, найти ошибку в таблице или объяснить график. Ответ она пишет текстом, а рисовать новые картинки такие модели обычно не умеют.
Для бизнеса
Такие модели берут задачи, где раньше нужен был человек с глазами: разбор сканов накладных и договоров, проверка фото с объектов, сверка ценников на полке, ответы клиентам, которые присылают снимок поломки. Цена зависит от числа и размера изображений: картинка занимает много токенов, и это видно в счете. Риски: модель путает мелкие цифры на плохих фото, может уверенно описать то, чего на снимке нет, а сканы с персональными данными нельзя отправлять во внешний сервис без правового основания. Начинают с сотни реальных документов и считают долю ошибок; удобно сделать это на одном процессе, например обработке заявок.
Для специалиста
Визуально-языковая модель (vision-language model, VLM) объединяет визуальный энкодер (vision encoder) и языковую модель. Типовая схема: изображение режут на патчи, энкодер на базе трансформера превращает их в векторы, проекционный слой переводит их в пространство эмбеддингов языковой модели, и дальше они идут вместе с текстовыми токенами. Основой многих энкодеров стал CLIP (Radford и соавторы, 2021): контрастное предобучение на 400 млн пар «изображение и подпись» дало перенос на новые задачи без дообучения (zero-shot). LLaVA (Liu и соавторы, 2023) соединила такой энкодер с языковой моделью и обучила связку на инструкциях, которые сгенерировала текстовая GPT-4. Другие варианты: перекрестное внимание к визуальным признакам и раннее слияние, когда сеть с самого начала учится на смеси токенов разных модальностей. Качество проверяют на ответах по изображению (VQA), чтении документов и графиков; типичные сбои связаны со счетом объектов, мелким шрифтом и галлюцинациями объектов.
Пример
Сервисная компания получает от клиентов фото сломанного оборудования. Модель определяет тип устройства и видимое повреждение, заполняет заявку и задает уточняющий вопрос, а мастер едет уже с нужной деталью.
Связанные термины
Вопросы и ответы
Чем визуально-языковая модель отличается от мультимодальной?
Может ли VLM читать документы и сканы?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений