Словарь ИИ
Что такое разметка данных
Коротко
Разметка данных это работа, при которой люди или программы подписывают примеры для обучения модели: что изображено на фото, о чем письмо, где в тексте имя клиента.
Машинное обучение · data labeling
Редакция ММООЗЗГГ.ruПроверено: 1 минута чтения
Ребенку
Представь, что воспитатель учит малыша различать фрукты. Она показывает картинку и говорит: «Это яблоко, а это груша». Если на каждой карточке есть подпись, малыш быстро запоминает. Компьютеру тоже нужны такие подписанные карточки, и люди терпеливо делают их тысячами. Чем аккуратнее подписи, тем меньше компьютер путается. Ошибка в подписи учит его неправильному.
Простыми словами
Модель учится на примерах с правильными ответами. Сами по себе фотографии, звонки и письма ответов не содержат, их добавляет человек. Он смотрит на снимок и обводит рамкой каждую машину, слушает запись и пишет, о чем просил клиент, читает отзыв и ставит пометку «жалоба» или «похвала». Такая пометка называется меткой. Набор примеров с метками становится учебником для модели. Например, чтобы почтовый фильтр отличал спам, тысячи писем сначала вручную помечают как «спам» или «не спам».
Для бизнеса
От разметки качество будущей модели зависит не меньше, чем от алгоритма: ошибки в метках модель выучит вместе с правильными ответами. Цена складывается из объема примеров, сложности задачи и квалификации разметчиков. Подписать тему обращения может любой обученный сотрудник, а отметить патологию на снимке должен врач. Компании размечают своими силами, отдают подрядчику или ускоряют работу правилами и готовыми моделями. Риски: персональные данные в выгрузке для подрядчика и размытая инструкция, из-за которой два человека ставят одному примеру разные метки. Поэтому до запуска пишут инструкцию с примерами и проверяют согласие разметчиков на небольшой выборке. Объем работ с данными обычно оценивают еще на этапе карты ИИ-решенийкарта ИИ-решений. Карта ИИ-решений это документ, который показывает по каждому процессу компании, какое решение на основе ИИ подходит, сколько оно стоит и какой эффект даст в рублях..
Для специалиста
Разметка (data labeling, annotation) создает целевую переменную для обучения с учителем: класс, рамку объекта (bounding box), маску сегментации, именованные сущности в тексте, оценку ответа модели. Качество меток измеряют согласованностью разметчиков (inter-annotator agreement) и контрольными примерами с заранее известным ответом. Чтобы сократить ручной труд, применяют активное обучение (active learning): модель сама выбирает примеры, в которых сильнее всего сомневается, и отдает их людям. Другой путь дает слабая разметка (weak supervision): эксперты пишут функции разметки (labeling functions), то есть эвристики, а система оценивает их надежность и сводит шумные голоса в обучающие метки без эталона. Так устроен Snorkel (Ratner и др., 2017). Для больших языковых моделейбольшая языковая модель. Большая языковая модель (LLM) это нейросеть, обученная на огромном объеме текстов, которая пишет, пересказывает и разбирает текст по запросу. разметка включает ранжирование ответов людьми, из которого строят модель вознаграждения для RLHF.
Пример
Интернет-магазин хочет, чтобы ИИ сам разбирал отзывы. Сотрудники за неделю вручную помечают пару тысяч отзывов по темам: доставка, качество, цена. На этой выборке обучают модель, и дальше она раскладывает новые отзывы без людей.
Связанные термины
Вопросы и ответы
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений