Словарь ИИ
Что такое диффузионная модель
Коротко
Диффузионная модель это нейросеть, которая создает изображение, видео или звук, шаг за шагом убирая шум из случайной картинки.
Изображения, видео, звук · diffusion model
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь окно, запотевшее так сильно, что за ним ничего не видно. Ты протираешь его понемногу, и сквозь пятна проступают дом, дерево, кошка на заборе. Такая нейросеть рисует похожим образом: начинает с картинки из сплошных точек и много раз аккуратно ее «протирает», пока не появится рисунок.
Простыми словами
Обучение устроено наоборот. К хорошим фотографиям понемногу добавляют шум, пока не останется серая рябь, а модель учится угадывать, какой шум добавили на каждом шаге. Когда она этому научилась, процесс запускают в обратную сторону. Модель получает чистую рябь и раз за разом убирает из нее немного шума. Если при этом дать ей текст, например «рыжий кот на подоконнике», она убирает шум так, чтобы проступил именно такой кот. Поэтому одна и та же модель по разным описаниям рисует разное.
Для бизнеса
На таких моделях работают сервисы генерации картинок, видео и музыки, которыми пользуются маркетинг, дизайн и продажи: баннеры, карточки товаров, раскадровки, фоны для фото. Открытые версии можно запустить на своем сервере с видеокартой, тогда изображения и описания не уходят к стороннему сервису. Стоимость зависит от разрешения, числа шагов генерации и объема видеопамяти; видео обходится намного дороже картинки. Риски: права на обучающие картинки у разных моделей разные, лицензии ограничивают коммерческое использование, модель может повторить чужой стиль или логотип. Перед запуском юрист проверяет лицензию, а дизайнер решает, где генерация экономит часы, а где нужна ручная доработка. Требования к железу для такой задачи считают по объему видеопамяти.
Для специалиста
Диффузионные модели (diffusion models) задают прямой процесс, который за T шагов зашумляет данные гауссовым шумом, и обучают обратный процесс, восстанавливающий данные из шума. Идею предложили Sohl-Dickstein и др. (2015), высокое качество изображений показали денойзинговые диффузионные вероятностные модели (DDPM, Ho, Jain, Abbeel, 2020): сеть, обычно U-Net, предсказывает добавленный шум, а обучение связано с денойзинговым сопоставлением оценок (denoising score matching). Латентная диффузия (latent diffusion, Rombach и др., 2021) переносит процесс в сжатое пространство предобученного автоэнкодера, что сильно снижает вычисления, а условие по тексту подает через перекрестное внимание (cross-attention). Выборку ускоряют детерминированными сэмплерами вроде DDIM и дистилляцией в несколько шагов, силу следования подсказке регулирует classifier-free guidance. Новые архитектуры заменяют U-Net трансформером (diffusion transformer).
Пример
Мебельная фабрика генерирует фоны для фото диванов: кухня в скандинавском стиле, гостиная с камином, лофт. Модель стоит на сервере компании, и дизайнер за час собирает серию карточек для маркетплейса вместо выездной съемки.
Связанные термины
Вопросы и ответы
Чем диффузионная модель отличается от GAN?
Можно ли запустить такую модель на своем компьютере?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений