Словарь ИИ

Что такое text-to-image

Коротко

Text-to-image это генерация изображений по текстовому описанию: вы пишете, что хотите увидеть, а нейросеть рисует картинку.

Изображения, видео, звук · text-to-image

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Представь художника, которому можно рассказать словами: «Нарисуй слона в шляпе, который катается на коньках». Он слушает и рисует именно такого слона, хотя никогда его не видел. Есть компьютерные программы, которые умеют так же. Чем понятнее ты объяснишь, тем ближе рисунок к тому, что ты задумал.

Простыми словами

Вы пишете фразу, например «чашка кофе на деревянном столе, утренний свет», и через несколько секунд получаете картинку. Внутри две части. Первая переводит текст в числа, которые описывают смысл фразы. Вторая рисует изображение и на каждом шаге сверяется с этим смыслом. Такие системы учили на огромном числе картинок с подписями, поэтому они знают, как выглядят предметы, стили и освещение. Многое решает описание: стоит указать стиль, ракурс и то, чего на картинке быть не должно. Один и тот же запрос при каждом запуске дает новые варианты.

Для бизнеса

Генерация изображений сокращает расходы на иллюстрации для сайта, рекламы, презентаций и карточек товаров. Маркетинг получает десятки вариантов баннера за время одной встречи и тестирует их на аудитории до заказа финального дизайна. Цена зависит от способа: подписка на облачный сервис, оплата за картинку через API или своя модель на собственном сервере, где описания и фото продуктов не уходят наружу. Риски юридические и репутационные: неясные права на результат, сходство с чужим брендом, искаженные лица и надписи, ошибки в деталях товара. Нейросеть может исказить реальный продукт, поэтому каждую карточку проверяет человек. Кто и что вправе генерировать, закрепляют в политике использования ИИ.

Для специалиста

Генерация изображений по тексту (text-to-image) это условная генерация: модель порождает изображение из условного распределения, заданного описанием. Текст кодирует языковой или мультимодальный энкодер; модель CLIP (Radford и др., 2021) обучена контрастным методом сопоставлять картинки и подписи на 400 миллионах пар. В двухэтапной схеме Ramesh и др. (2022) априорная модель (prior) переводит подпись в CLIP-эмбеддинг изображения, а диффузионный декодер рисует по нему картинку. Латентная диффузия (Rombach и др., 2021) работает в сжатом пространстве и подает текст через перекрестное внимание, на ней построены распространенные открытые модели. Следование подсказке усиливают бесклассификаторным наведением (classifier-free guidance), нежелательное задают негативным промптом, позу и контуры фиксируют дополнительными условиями через ControlNet (Zhang и др., 2023), стиль или персонажа добавляют адаптерами. Качество оценивают метриками FID и CLIP score, а также слепыми сравнениями с участием людей.

Пример

Магазин посуды готовит рассылку к Новому году. Дизайнер описывает сцену словами, получает двадцать вариантов праздничного стола, выбирает три и дорабатывает их, вместо того чтобы заказывать фотосъемку.

Связанные термины

Вопросы и ответы

Как работает генерация изображений в нейросетях?

Нейросеть переводит ваш текст в числовое описание смысла, а затем рисует картинку, шаг за шагом убирая шум и сверяясь с этим описанием. Обучают такие системы на огромных наборах изображений с подписями.

Кому принадлежат права на сгенерированную картинку?

Это зависит от условий сервиса и законов страны, единого ответа нет. Перед коммерческим использованием читают пользовательское соглашение модели и избегают узнаваемых чужих брендов и персонажей.

Источники

Где это применяют в компании

Генеративный ИИ в работе: как ставить задачу нейросети

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений