Словарь ИИ
Что такое text-to-video
Коротко
Text-to-video это генерация видео по текстовому описанию: нейросеть получает фразу или сценарий и создает короткий ролик с движением, светом и работой камеры.
Изображения, видео, звук · text-to-video
Михаил МозгПроверено: 1 минута чтения
Ребенку
Помнишь блокнот, на уголках страниц которого нарисованы человечки? Если быстро листать, они начинают бегать. Есть программы, которым можно словами рассказать сцену, и они рисуют много таких страничек подряд, чтобы получился мультик. Труднее всего им сделать так, чтобы герой не менялся от кадра к кадру и не терял шапку.
Простыми словами
Видео это много картинок подряд, обычно десятки в секунду. Нейросеть рисует их не по одной, а сразу пачкой, чтобы соседние кадры были согласованы: машина едет плавно, а лицо героя не меняется. Вы пишете, например, «дрон пролетает над осенним лесом на рассвете», и через несколько минут получаете короткий ролик. Многие сервисы также оживляют готовую фотографию или продолжают начатое видео. Чем длиннее и сложнее сцена, тем чаще появляются странности: лишние пальцы, исчезающие предметы, нарушенная физика.
Для бизнеса
Генерация видео удешевляет черновые и вспомогательные ролики: раскадровки рекламы, фоны, короткие вставки для соцсетей, показ товара в разных интерьерах. Съемочную площадку с командой заменяют часы работы оператора нейросети, но финальный монтаж и звук остаются за людьми. Платят за секунду ролика или по подписке, а своя модель требует мощных видеокарт с большой видеопамятью. Риски: права на результат и на внешность людей, случайное сходство с реальными персонами, ошибки в деталях продукта и потеря доверия, если зритель не понимает, что видео сгенерировано. Где генерация уместна в видеоканале компании, а где нужна живая съемка, решают до старта производства.
Для специалиста
Генерация видео по тексту (text-to-video) расширяет диффузионный подход на временное измерение. В работе Video Diffusion Models (Ho и др., 2022) архитектуру для изображений дополнили временной обработкой, обучали совместно на картинках и видео, а длинные ролики получали условной выборкой по уже созданным кадрам. Make-A-Video (Singer и др., 2022) показал, что связь текста и изображения можно выучить на парах «текст-картинка», а движение взять из видео без подписей, обходясь без пар «текст-видео». Современные системы обычно сжимают ролик видеоавтоэнкодером в латентное пространство, режут его на пространственно-временные патчи (spacetime patches) и обрабатывают диффузионным трансформером. Главные трудности: временная согласованность объектов, физическая правдоподобность, длина ролика и цена вычислений. Режимы работы: из текста, из изображения (image-to-video), продолжение и редактирование готового видео.
Пример
Турагентство делает короткие ролики о направлениях для соцсетей. Нейросеть генерирует виды побережья и улиц по описанию, а монтажер добавляет реальные цены, логотип и голос диктора.
Связанные термины
Вопросы и ответы
Что значит генерация видео?
Можно ли использовать сгенерированное видео в рекламе?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений