ММООЗЗГГ.ru

Словарь ИИ

Что такое CFG scale

Коротко

CFG scale это настройка генерации изображений, которая задает, насколько строго нейросеть следует текстовому описанию: чем выше значение, тем буквальнее картинка.

Изображения, видео, звук · classifier-free guidance

Михаил МозгПроверено: 1 минута чтения

Ребенку

Представь, что ты просишь друга нарисовать котенка в шапке. Если сказать «рисуй как хочешь», он может забыть про шапку и добавить бабочку. Если повторять «только котенка в шапке!», он нарисует ровно это, но может перестараться, и рисунок выйдет грубым. У рисующей нейросети есть такой переключатель: насколько точно слушаться просьбы.

Простыми словами

Когда нейросеть рисует, она на каждом шаге делает два прогноза: как выглядела бы картинка с учетом вашего описания и как без него. Разницу между ними можно усиливать, и этот множитель называют шкалой наведения. При низком значении модель свободнее, картинки разнообразнее, но описание выполняется приблизительно. При высоком она старается попасть в каждое слово, зато краски становятся пересвеченными, а детали жесткими. Обычно ищут середину: делают несколько пробных картинок с разными значениями и выбирают подходящую.

Для бизнеса

Параметр влияет на долю брака и на скорость получения годного макета. Если значение слишком низкое, дизайнер получает красивые, но далекие от задачи картинки; если слишком высокое, приходится чистить артефакты. Есть и расход на вычисления: при наведении модель на каждом шаге считает два прогноза, поэтому такая генерация тяжелее, чем без него. В облачных сервисах параметр часто скрыт или назван иначе, на своем сервере его настраивают под каждую задачу и записывают в регламент вместе с моделью и сидом. Подбирают его на пробной серии: десяток описаний, несколько значений, оценка дизайнера.

Для специалиста

CFG scale (guidance scale, w) это вес бесклассификаторного наведения (classifier-free guidance), которое предложили Ho и Salimans (2022). Одну модель обучают одновременно как условную и безусловную, а при выборке смешивают две оценки шума, в записи diffusers: ε̂ = ε(x, ∅) + w·(ε(x, c) − ε(x, ∅)), где c это текстовое условие. При w = 1 получается обычная условная модель, при w > 1 выборка смещается туда, где условие выражено сильнее, ценой разнообразия. Метод обходится без внешнего классификатора, которого требует наведение классификатором (classifier guidance) и который приходится обучать на зашумленных данных. В библиотеке diffusers значение по умолчанию 7,5, наведение включается при значении больше 1, а негативный промпт без наведения игнорируется. Против пересвета при больших w, особенно у моделей с нулевым терминальным SNR (zero terminal SNR), применяют guidance rescale, а в дистиллированных моделях наведение встраивают в веса.

Пример

Дизайнер генерирует фон для открытки «зимний лес с огоньками». При значении 2,5 огоньков почти нет, при 12,5 снег выглядит пластиковым. Он останавливается на 7,5 и сохраняет это значение для всей серии.

Связанные термины

Вопросы и ответы

Какой CFG scale ставить?

Начните со значения по умолчанию в вашей программе, в библиотеке diffusers это 7,5, и сделайте пробы ниже и выше. Если картинка не слушается описания, повышайте, если появились пересвет и грубые детали, понижайте.

Чем CFG scale отличается от температуры?

Температура регулирует случайность выбора слов в языковых моделях. Шкала наведения в генерации картинок задает силу следования описанию, а случайный старт там определяет сид.

Источники

Где это применяют в компании

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений
Написать в Telegram