Словарь ИИ

Что такое image-to-image

Коротко

Image-to-image это генерация новой картинки на основе исходного изображения и текстовой подсказки: нейросеть сохраняет композицию оригинала и меняет стиль или детали.

Изображения, видео, звук · image-to-image

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Представь, что ты нарисовал домик карандашом, кривенько и без красок. Ты отдаешь листок волшебному художнику и говоришь: «Сделай как зимнюю сказку». Он смотрит на твой рисунок и рисует по нему новую картинку: домик стоит на том же месте, а вокруг снег, огоньки и сугробы. Так работает этот способ: старая картинка подсказывает, где что стоит.

Простыми словами

Обычная генерация начинает с пустого шума, а здесь у нейросети есть основа: ваша фотография, эскиз или старый баннер. Программа слегка зашумляет исходник, как будто смотрит на него сквозь мутное стекло, и потом заново прорисовывает детали по текстовому описанию. Главная настройка называется силой изменения. Маленькое значение оставляет картинку почти прежней, меняя только цвета или фактуру. Большое сохраняет лишь общие очертания и рисует почти новое изображение. Например, фото комнаты с голыми стенами можно превратить в ту же комнату после ремонта в скандинавском стиле.

Для бизнеса

Режим нужен, когда у компании уже есть визуальная основа и ее надо быстро размножить или переоформить. Маркетинг делает из одного снимка товара серию сезонных вариантов, дизайнер превращает набросок упаковки в реалистичный макет, застройщик показывает квартиру с разной отделкой. Цена зависит от разрешения, числа итераций и того, где работает модель: в облачном сервисе с оплатой за картинку или на своем сервере с видеокартой. Риски: модель может исказить логотип, надписи и форму товара, а загрузка чужих фото поднимает вопрос прав. Перед запуском проверьте лицензию модели и договоритесь, кто утверждает результат. Удобно начать с одной товарной категории и посчитать, сколько часов дизайнера это экономит.

Для специалиста

Image-to-image (img2img) в широком смысле означает перевод изображения из одного домена в другой: эскиз в фото, карту сегментации в сцену, черно-белый снимок в цветной. Isola и др. (2016) решали эту задачу условной состязательной сетью (conditional GAN, pix2pix), которая учит одновременно отображение и функцию потерь. Для диффузионных моделей стандартный прием описан в SDEdit (Meng и др., 2021): к входному изображению добавляют шум до промежуточного шага, а затем запускают обратный процесс, в генераторах картинок обычно с текстовым условием. Уровень шума задает компромисс между реалистичностью и верностью исходнику. В библиотеке diffusers он называется strength, по умолчанию 0,8; при значении 1 исходник фактически игнорируется, а число реальных шагов денойзинга растет вместе со strength. Родственные методы: инпейнтинг (изменение по маске), ControlNet (структурные условия вместо пикселей) и инверсия DDIM для точного редактирования.

Пример

Интернет-магазин одежды загружает фото куртки на белом фоне и получает тот же товар на улице осеннего города и в горах. Дизайнер проверяет, что фасон и цвет не изменились, и отбирает кадры для карточки.

Связанные термины

Вопросы и ответы

Чем image-to-image отличается от text-to-image?

В text-to-image нейросеть рисует только по описанию и стартует с чистого шума. В режиме по картинке у нее есть исходное изображение, поэтому композиция, ракурс и пропорции сохраняются, а текст задает, что поменять.

Можно ли загрузить фото товара и не испортить его?

Да, если поставить небольшую силу изменения и проверить результат глазами. Для точного сохранения формы надежнее закрасить маской только фон или добавить структурное условие, например контуры товара.

Источники

Где это применяют в компании

Генеративный ИИ в работе: как ставить задачу нейросети

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений