Словарь ИИ
Что такое автоэнкодер
Коротко
Автоэнкодер это нейросеть, которая сжимает данные в короткий код и восстанавливает их обратно, а по ходу учится выделять в них главное.
Машинное обучение · autoencoder
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь, что тебе нужно описать другу рисунок, но можно сказать только пять слов. Ты говоришь: «красный дом, два окна, труба». Друг по этим словам рисует дом заново, почти такой же. Чтобы так получалось, надо выбрать главные слова и пропустить мелочи. Эта программа учится похоже: сжимает картинку в короткую записку и рисует по ней снова.
Простыми словами
Сеть состоит из двух половин. Первая, кодировщик, сжимает вход, например фото или строку показаний датчиков, в короткий набор чисел. Вторая, декодер, пытается по этому набору восстановить исходник. Учится она сама, без подписей: ошибкой служит разница между входом и восстановленной копией. Узкое место в середине заставляет сохранить существенное и отбросить шум. Отсюда польза: если показать модели что-то необычное, она восстановит это плохо, и большая ошибка подскажет, что пример странный.
Для бизнеса
Компании используют этот подход в трех задачах. Первая: поиск аномалий. Модель учат на нормальной работе станка, сети или платежей, а все, что она восстанавливает с трудом, отправляют на проверку человеку. Разметка поломок для этого почти не нужна, что удобно, когда сбоев в истории мало. Вторая: сжатие и очистка данных, например удаление шума со сканов и записей. Третья: компактные признаки для других моделей и поиска похожих объектов. Расходы невелики: модель небольшая и работает на обычных серверах. Риск в пороге тревоги: слишком строгий завалит службу ложными сигналами, слишком мягкий пропустит сбой. Порог настраивают вместе с теми, кто будет разбирать сигналы.
Для специалиста
Автоэнкодер (autoencoder) это нейросеть, обученная воспроизводить вход: кодировщик отображает x в латентное представление z, декодер восстанавливает из z приближение x, а функция потерь измеряет ошибку реконструкции, например среднеквадратичную. Чтобы сеть не выучила тождественное отображение, вводят ограничение: узкое горлышко (undercomplete), разреженность активаций (sparse), шум на входе или маскирование. Шумоподавляющий вариант (denoising) учится восстанавливать чистый вход по искаженному; Vincent и соавторы (JMLR, 2010) собирали из таких блоков глубокие сети и получали признаки, полезные для последующей классификации. Маскированный вариант MAE (He и соавторы, 2021) скрывает большую долю фрагментов изображения, например 75%, и восстанавливает пиксели; это метод самообучения (self-supervised learning) для зрения. Вариационная версия добавляет вероятностную модель латентного пространства и умеет генерировать. Разреженные автоэнкодеры применяют в интерпретируемости: Bricken и соавторы (Anthropic, 2023) разложили активации MLP-слоя из 512 нейронов однослойного трансформера на тысячи понятных признаков.
Пример
Интернет-провайдер обучил автоэнкодер на обычном сетевом трафике за несколько месяцев. Когда поток пакетов вдруг восстанавливается с большой ошибкой, дежурный инженер получает сигнал и проверяет, не случился ли сбой оборудования или атака.
Связанные термины
Вопросы и ответы
Зачем нужен автоэнкодер, если он просто копирует вход?
Чем обычный автокодировщик отличается от вариационного?
Источники
- Vincent, Larochelle, Lajoie, Bengio, Manzagol, Stacked Denoising Autoencoders, JMLR, 2010jmlr.org
- He и др., Masked Autoencoders Are Scalable Vision Learners, 2021arxiv.org
- Bricken и др., Towards Monosemanticity: Decomposing Language Models With Dictionary Learning, Anthropic, 2023transformer-circuits.pub
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений