Словарь ИИ

Что такое аугментация данных

Коротко

Аугментация данных это способ расширить обучающую выборку измененными копиями имеющихся примеров: повернутыми фото, перефразированными текстами, зашумленными записями.

Машинное обучение · data augmentation

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

У тебя есть одна фотография кошки. Ее можно перевернуть, сделать чуть темнее, приблизить или отрезать краешек, и кошка все равно останется кошкой. Так из одной картинки получается целая стопка. Компьютеру тоже показывают такие стопки, чтобы он узнавал кошку при любом свете и в любом уголке снимка.

Простыми словами

Модели нужно много примеров, а собирать и подписывать их долго. Поэтому берут то, что уже есть, и слегка меняют: фотографию отражают и поворачивают, меняют яркость, вырезают кусочек, к записи голоса подмешивают уличный шум, фразу пересказывают другими словами. Подпись при этом остается прежней. Модель видит больше вариантов и меньше заучивает конкретные снимки. Пример: проверка документов, обученная на ровных сканах, путается на фото с телефона, а после поворотов и размытия в обучении справляется и с ними.

Для бизнеса

Прием дешевле сбора и разметки новых примеров, поэтому его используют почти в каждом проекте с фото, видео и звуком: контроль качества на линии, распознавание документов, речь в колл-центре. Он выручает, когда примеров мало или камера в цеху снимает хуже, чем в лаборатории. Ограничения стоит знать заранее. Изменения должны быть правдоподобными: зеркальный текст или перевернутая деталь научат модель ерунде. Новых фактов прием не добавляет: дефект, которого нет ни на одном снимке, он не создаст. Расходы здесь в основном на время инженера и вычисления при обучении. Что даст прирост именно на ваших данных, выясняют на пилоте с честной тестовой выборкой.

Для специалиста

Аугментация данных (data augmentation) это расширение обучающей выборки измененными копиями примеров, обычно с сохранением метки. Для изображений применяют геометрические (отражение, поворот, обрезка, масштаб) и фотометрические (яркость, контраст, цвет) преобразования, стирание фрагментов (cutout, random erasing) и смешивание примеров, при котором меняется и метка: mixup (Zhang и соавторы, 2017) обучает сеть на выпуклых комбинациях пар примеров и их меток. Для текста используют замену синонимов, вставку и перестановку слов, обратный перевод (back-translation): Sennrich, Haddow и Birch (2015) переводили одноязычные тексты на целевом языке обратно на исходный и добавляли полученные пары к параллельным данным. Обзор Feng и соавторов (2021) систематизирует методы для NLP и отмечает, что дискретность языка усложняет задачу. Аугментацию относят к регуляризации: она снижает переобучение, но не заменяет данные из нужного распределения. Политики преобразований подбирают и автоматически (AutoAugment, RandAugment). Тестовую выборку обычно оставляют без изменений, иначе оценка качества смещается.

Пример

Производитель плитки собрал всего несколько сотен фото со сколами. Инженеры добавили к ним повороты, блики и легкое размытие, и модель стала находить сколы на снимках новой камеры, которую поставили под другим углом.

Связанные термины

Вопросы и ответы

Чем аугментация данных отличается от синтетических данных?

Аугментация меняет уже собранные примеры и сохраняет их метку: тот же снимок, только повернутый. Синтетические данные создают с нуля генератором или симуляцией. Границу размывают генеративные модели, которые дорисовывают новые варианты по реальным образцам.

Когда аугментация вредит?

Когда преобразование меняет смысл примера: зеркальная буква «b» превращается в «d», а отраженный рентгеновский снимок путает левую и правую сторону. Тогда модель учится на неверных подписях. Поэтому набор преобразований выбирают под задачу и проверяют на тестовой выборке.

Источники

Где это применяют в компании

Данные для ИИ: что измерять в бизнесе и как их собирать

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений