Словарь ИИ
Что такое ControlNet
Коротко
ControlNet это дополнительная нейросеть к модели генерации изображений, которая заставляет картинку следовать заданной структуре: позе человека, контурам, карте глубины или планировке.
Изображения, видео, звук · ControlNet
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь раскраску: контуры уже нарисованы, и ты сам выбираешь цвета. Как бы ты ни раскрашивал, кошка останется кошкой, а домик домиком, потому что линии подсказывают, где что. Здесь похожая идея. Компьютеру дают такую раскраску с линиями или фигуркой человечка, и он рисует картинку строго по ней, а не как попало.
Простыми словами
Обычная нейросеть для картинок слушается только текста, и поза героя или расположение предметов каждый раз выходят случайными. ControlNet добавляет второй вход: схему. Это может быть набросок контуров, фигурка из палочек, показывающая позу, карта глубины или разметка, где небо, дорога и здания. Модель рисует по описанию, но держит форму из схемы. Например, архитектор загружает чертеж фасада и получает десяток вариантов отделки, где окна и двери стоят на своих местах. Обычно для каждого вида схемы обучают свою версию модуля.
Для бизнеса
Структурное управление делает генерацию пригодной для работы, где важна точность формы: дизайн интерьеров, визуализация фасадов, одежда на моделях в нужной позе, раскадровки для рекламы. Без него дизайнер тратит время на перебор случайных вариантов, с ним задает композицию сразу. Расходы: модуль работает поверх открытой модели, поэтому нужен свой сервер или облачная видеокарта, а инженер собирает конвейер под задачу; каждое дополнительное условие увеличивает нагрузку на видеопамять. Риски те же, что у генерации в целом: лицензия базовой модели, сходство с чужими работами, ошибки в деталях. До закупки железа считают, сколько изображений в день нужно и какие условия реально используются.
Для специалиста
ControlNet предложили Zhang, Rao и Agrawala (2023) как архитектуру, которая добавляет пространственное условие к предобученной диффузионной модели текст в изображение. Веса исходной модели замораживают (locked copy), а ее энкодерные блоки копируют в обучаемую копию (trainable copy), которая получает карту условия. Копию соединяют с основной сетью через нулевые свертки (zero convolutions): сверточные слои, инициализированные нулями, поэтому в начале обучения вклад модуля равен нулю и не портит базовую модель. Авторы проверили условия по контурам, глубине, сегментации и позе человека, по отдельности и вместе, с текстом и без него, и сообщают об устойчивом обучении как на небольших наборах (меньше 50 тысяч изображений), так и на больших (больше миллиона). Несколько модулей комбинируют с весами (conditioning scale). Ту же схему используют для инпейнтинга и аутпейнтинга, когда нужно удержать форму объекта.
Пример
Студия интерьеров фотографирует пустую комнату клиента и строит по снимку карту глубины. Нейросеть с ControlNet рисует пять вариантов ремонта, где стены, окна и проемы совпадают с реальной планировкой.
Связанные термины
Вопросы и ответы
Для чего нужен ControlNet?
Работает ли ControlNet в облачных сервисах?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений