Словарь ИИ
Что такое вариационный автоэнкодер
Коротко
Вариационный автоэнкодер (VAE) это нейросеть, которая сжимает данные в случайный код с заданным распределением и умеет создавать из этого пространства новые похожие примеры.
Машинное обучение · variational autoencoder
Редакция ММООЗЗГГ.ruПроверено: 1 минута чтения
Ребенку
Представь коробку с пластилином. Ты лепишь зайца, сминаешь его в комок, а потом лепишь снова, но чуть другого: с ушами длиннее или хвостом пушистее. Комок помнит, что это был заяц, но не каждую мелочь. Эта программа делает так с картинками: сминает их в маленький комок чисел и лепит из него новые, похожие.
Простыми словами
Обычный автоэнкодер сжимает картинку в короткий код и восстанавливает ее обратно. Вариационный идет дальше: вместо одной точки он описывает каждую картинку облачком возможных кодов и приучает все облачка лежать рядом, в одной аккуратной области. Поэтому можно взять случайную точку из этой области и получить новое изображение, которого не было в обучении. Можно и плавно пройти от одной точки к другой: улыбка на лице будет появляться постепенно. Похожим способом сжимают картинки современные генераторы изображений.
Для бизнеса
Отдельным продуктом этот метод продают редко, зато он работает внутри многих систем. В генераторах изображений по тексту вариационный кодировщикэнкодер. Энкодер это часть нейросети, которая читает входные данные целиком и превращает их в набор чисел, удобный для поиска, сравнения или дальнейшей генерации. сжимает картинку, чтобы основная модель работала с маленьким представлением, и это снижает стоимость вычислений. Другие применения: поиск аномалий в показаниях оборудования и транзакциях, где плохо восстановленный пример считают подозрительным, синтетические табличные данные, сжатие сигналов. Картинки из чистого VAE выходят мягче и размытее, чем у диффузионных моделей, поэтому для рекламной графики его одного мало. Что проверить: на каких данных обучена модель и как часто она пропускает реальные аномалии. Такую проверку удобно провести на пилоте по истории инцидентов.
Для специалиста
Вариационный автоэнкодер (variational autoencoder, VAE) описали Kingma и Welling в работе Auto-Encoding Variational Bayes (2013). Это латентная генеративная модель p(x|z)p(z), обученная вариационным выводом: кодировщик, или модель распознавания (recognition model), задает приближенное апостериорное распределение q(z|x), обычно гауссово с диагональной ковариацией, а декодердекодер. Декодер это часть нейросети, которая создает выходную последовательность по одному элементу, каждый раз опираясь на уже написанное. восстанавливает x из z. Максимизируют нижнюю вариационную границу правдоподобия (ELBO): ожидаемое качество реконструкции минус KL-дивергенцию между q(z|x) и априорным p(z). Прием репараметризации (reparameterization trick) записывает z как детерминированную функцию параметров и шума, и оценку можно оптимизировать стохастическим градиентным спускомградиентный спуск. Градиентный спуск это способ обучения модели, при котором ее внутренние числа шаг за шагом сдвигают туда, где ошибка уменьшается быстрее всего.. Близкий подход со стохастическим обратным распространением опубликовали Rezende, Mohamed и Wierstra (2014). Варианты: beta-VAE для распутывания факторов, условный VAE, VQ-VAE с дискретным кодом. В латентных диффузионных моделях (Rombach и соавторы, 2021) диффузия идет в латентном пространстве предобученного автоэнкодера.
Пример
Завод записывает вибрацию насосов. VAE обучили только на записях исправной работы, и когда новая запись восстанавливается заметно хуже обычного, система предупреждает механика о возможной поломке подшипника.
Связанные термины
Вопросы и ответы
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений