Словарь ИИ
Что такое автоэнкодер
Коротко
Автоэнкодер это нейросеть, которая сжимает данные в короткий код и восстанавливает их обратно, а по ходу учится выделять в них главное.
Машинное обучение · autoencoder
Редакция ММООЗЗГГ.ruПроверено: 1 минута чтения
Ребенку
Представь, что тебе нужно описать другу рисунок, но можно сказать только пять слов. Ты говоришь: «красный дом, два окна, труба». Друг по этим словам рисует дом заново, почти такой же. Чтобы так получалось, надо выбрать главные слова и пропустить мелочи. Эта программа учится похоже: сжимает картинку в короткую записку и рисует по ней снова.
Простыми словами
Сеть состоит из двух половин. Первая, кодировщикэнкодер. Энкодер это часть нейросети, которая читает входные данные целиком и превращает их в набор чисел, удобный для поиска, сравнения или дальнейшей генерации., сжимает вход, например фото или строку показаний датчиков, в короткий набор чисел. Вторая, декодердекодер. Декодер это часть нейросети, которая создает выходную последовательность по одному элементу, каждый раз опираясь на уже написанное., пытается по этому набору восстановить исходник. Учится она сама, без подписей: ошибкой служит разница между входом и восстановленной копией. Узкое место в середине заставляет сохранить существенное и отбросить шум. Отсюда польза: если показать модели что-то необычное, она восстановит это плохо, и большая ошибка подскажет, что пример странный.
Для бизнеса
Компании используют этот подход в трех задачах. Первая: поиск аномалий. Модель учат на нормальной работе станка, сети или платежей, а все, что она восстанавливает с трудом, отправляют на проверку человеку. Разметка поломок для этого почти не нужна, что удобно, когда сбоев в истории мало. Вторая: сжатие и очистка данных, например удаление шума со сканов и записей. Третья: компактные признаки для других моделей и поиска похожих объектов. Расходы невелики: модель небольшая и работает на обычных серверах. Риск в пороге тревоги: слишком строгий завалит службу ложными сигналами, слишком мягкий пропустит сбой. Порог настраивают вместе с теми, кто будет разбирать сигналы.
Для специалиста
Автоэнкодер (autoencoder) это нейросеть, обученная воспроизводить вход: кодировщик отображает x в латентное представление z, декодер восстанавливает из z приближение x, а функция потерьфункция потерь. Функция потерь это формула, которая превращает ошибку модели в одно число: чем оно меньше, тем ближе ответы модели к правильным. измеряет ошибку реконструкции, например среднеквадратичную. Чтобы сеть не выучила тождественное отображение, вводят ограничение: узкое горлышко (undercomplete), разреженность активаций (sparse), шум на входе или маскирование. Шумоподавляющий вариант (denoising) учится восстанавливать чистый вход по искаженному; Vincent и соавторы (JMLR, 2010) собирали из таких блоков глубокие сети и получали признаки, полезные для последующей классификацииклассификация. Классификация это задача машинного обучения, в которой модель относит объект к одному из заранее известных классов: спам или не спам, жалоба или вопрос, брак или норма.. Маскированный вариант MAE (He и соавторы, 2021) скрывает большую долю фрагментов изображения, например 75%, и восстанавливает пиксели; это метод самообучения (self-supervised learning) для зрения. Вариационная версия добавляет вероятностную модель латентного пространства и умеет генерировать. Разреженные автоэнкодеры применяют в интерпретируемости: Bricken и соавторы (Anthropic, 2023) разложили активации MLP-слоя из 512 нейронов однослойного трансформера на тысячи понятных признаков.
Пример
Интернет-провайдер обучил автоэнкодер на обычном сетевом трафике за несколько месяцев. Когда поток пакетов вдруг восстанавливается с большой ошибкой, дежурный инженер получает сигнал и проверяет, не случился ли сбой оборудования или атака.
Связанные термины
Вопросы и ответы
Зачем нужен автоэнкодер, если он просто копирует вход?
Источники
- Vincent, Larochelle, Lajoie, Bengio, Manzagol, Stacked Denoising Autoencoders, JMLR, 2010jmlr.org
- He и др., Masked Autoencoders Are Scalable Vision Learners, 2021arxiv.org
- Bricken и др., Towards Monosemanticity: Decomposing Language Models With Dictionary Learning, Anthropic, 2023transformer-circuits.pub
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений