Словарь ИИ

Что такое вариационный автоэнкодер

Коротко

Вариационный автоэнкодер (VAE) это нейросеть, которая сжимает данные в случайный код с заданным распределением и умеет создавать из этого пространства новые похожие примеры.

Машинное обучение · variational autoencoder

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Представь коробку с пластилином. Ты лепишь зайца, сминаешь его в комок, а потом лепишь снова, но чуть другого: с ушами длиннее или хвостом пушистее. Комок помнит, что это был заяц, но не каждую мелочь. Эта программа делает так с картинками: сминает их в маленький комок чисел и лепит из него новые, похожие.

Простыми словами

Обычный автоэнкодер сжимает картинку в короткий код и восстанавливает ее обратно. Вариационный идет дальше: вместо одной точки он описывает каждую картинку облачком возможных кодов и приучает все облачка лежать рядом, в одной аккуратной области. Поэтому можно взять случайную точку из этой области и получить новое изображение, которого не было в обучении. Можно и плавно пройти от одной точки к другой: улыбка на лице будет появляться постепенно. Похожим способом сжимают картинки современные генераторы изображений.

Для бизнеса

Отдельным продуктом этот метод продают редко, зато он работает внутри многих систем. В генераторах изображений по тексту вариационный кодировщик сжимает картинку, чтобы основная модель работала с маленьким представлением, и это снижает стоимость вычислений. Другие применения: поиск аномалий в показаниях оборудования и транзакциях, где плохо восстановленный пример считают подозрительным, синтетические табличные данные, сжатие сигналов. Картинки из чистого VAE выходят мягче и размытее, чем у диффузионных моделей, поэтому для рекламной графики его одного мало. Что проверить: на каких данных обучена модель и как часто она пропускает реальные аномалии. Такую проверку удобно провести на пилоте по истории инцидентов.

Для специалиста

Вариационный автоэнкодер (variational autoencoder, VAE) описали Kingma и Welling в работе Auto-Encoding Variational Bayes (2013). Это латентная генеративная модель p(x|z)p(z), обученная вариационным выводом: кодировщик, или модель распознавания (recognition model), задает приближенное апостериорное распределение q(z|x), обычно гауссово с диагональной ковариацией, а декодер восстанавливает x из z. Максимизируют нижнюю вариационную границу правдоподобия (ELBO): ожидаемое качество реконструкции минус KL-дивергенцию между q(z|x) и априорным p(z). Прием репараметризации (reparameterization trick) записывает z как детерминированную функцию параметров и шума, и оценку можно оптимизировать стохастическим градиентным спуском. Близкий подход со стохастическим обратным распространением опубликовали Rezende, Mohamed и Wierstra (2014). Варианты: beta-VAE для распутывания факторов, условный VAE, VQ-VAE с дискретным кодом. В латентных диффузионных моделях (Rombach и соавторы, 2021) диффузия идет в латентном пространстве предобученного автоэнкодера.

Пример

Завод записывает вибрацию насосов. VAE обучили только на записях исправной работы, и когда новая запись восстанавливается заметно хуже обычного, система предупреждает механика о возможной поломке подшипника.

Связанные термины

Вопросы и ответы

Чем вариационный автоэнкодер отличается от обычного?

Обычный автоэнкодер учит сжатый код для каждого примера и хорошо восстанавливает, но плохо генерирует новое. Вариационный задает распределение кодов, поэтому из его латентного пространства можно брать случайные точки и получать правдоподобные новые примеры.

Где используют VAE?

Внутри генераторов изображений для сжатия картинок, в поиске аномалий, для синтетических данных и сжатия сигналов. В генерации по тексту основную работу делает диффузионная модель, а VAE переводит изображение в компактный код и обратно.

Источники

Где это применяют в компании

Генеративный ИИ в работе компании

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений