Словарь ИИ

Что такое разметка данных

Коротко

Разметка данных это работа, при которой люди или программы подписывают примеры для обучения модели: что изображено на фото, о чем письмо, где в тексте имя клиента.

Машинное обучение · data labeling

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Представь, что воспитатель учит малыша различать фрукты. Она показывает картинку и говорит: «Это яблоко, а это груша». Если на каждой карточке есть подпись, малыш быстро запоминает. Компьютеру тоже нужны такие подписанные карточки, и люди терпеливо делают их тысячами. Чем аккуратнее подписи, тем меньше компьютер путается. Ошибка в подписи учит его неправильному.

Простыми словами

Модель учится на примерах с правильными ответами. Сами по себе фотографии, звонки и письма ответов не содержат, их добавляет человек. Он смотрит на снимок и обводит рамкой каждую машину, слушает запись и пишет, о чем просил клиент, читает отзыв и ставит пометку «жалоба» или «похвала». Такая пометка называется меткой. Набор примеров с метками становится учебником для модели. Например, чтобы почтовый фильтр отличал спам, тысячи писем сначала вручную помечают как «спам» или «не спам».

Для бизнеса

От разметки качество будущей модели зависит не меньше, чем от алгоритма: ошибки в метках модель выучит вместе с правильными ответами. Цена складывается из объема примеров, сложности задачи и квалификации разметчиков. Подписать тему обращения может любой обученный сотрудник, а отметить патологию на снимке должен врач. Компании размечают своими силами, отдают подрядчику или ускоряют работу правилами и готовыми моделями. Риски: персональные данные в выгрузке для подрядчика и размытая инструкция, из-за которой два человека ставят одному примеру разные метки. Поэтому до запуска пишут инструкцию с примерами и проверяют согласие разметчиков на небольшой выборке. Объем работ с данными обычно оценивают еще на этапе карты ИИ-решений.

Для специалиста

Разметка (data labeling, annotation) создает целевую переменную для обучения с учителем: класс, рамку объекта (bounding box), маску сегментации, именованные сущности в тексте, оценку ответа модели. Качество меток измеряют согласованностью разметчиков (inter-annotator agreement) и контрольными примерами с заранее известным ответом. Чтобы сократить ручной труд, применяют активное обучение (active learning): модель сама выбирает примеры, в которых сильнее всего сомневается, и отдает их людям. Другой путь дает слабая разметка (weak supervision): эксперты пишут функции разметки (labeling functions), то есть эвристики, а система оценивает их надежность и сводит шумные голоса в обучающие метки без эталона. Так устроен Snorkel (Ratner и др., 2017). Для больших языковых моделей разметка включает ранжирование ответов людьми, из которого строят модель вознаграждения для RLHF.

Пример

Интернет-магазин хочет, чтобы ИИ сам разбирал отзывы. Сотрудники за неделю вручную помечают пару тысяч отзывов по темам: доставка, качество, цена. На этой выборке обучают модель, и дальше она раскладывает новые отзывы без людей.

Связанные термины

Вопросы и ответы

Сколько стоит разметка данных?

Цена зависит от объема и сложности: тему письма подпишет обученный оператор, а сегментацию медицинского снимка делает врач, и это заметно дороже. Точную оценку дает пробная партия: по ней видно, сколько времени уходит на один пример.

Можно ли разметить данные с помощью нейросети?

Да, языковые модели и готовые модели зрения часто делают черновую разметку, а люди проверяют и исправляют. Работа идет быстрее, но выборочная проверка человеком остается обязательной, иначе ошибки модели попадут в обучающие данные.

Источники

Ratner, Bach, Ehrenberg, Fries, Wu, Ré, Snorkel: Rapid Training Data Creation with Weak Supervision, 2017arxiv.org

Где это применяют в компании

Данные для ИИ: что измерять в бизнесе и как их собирать

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений