Словарь ИИ
Что такое данные для ИИ
Коротко
Данные для ИИ это примеры, на которых модель учится и с которыми потом работает: тексты, таблицы, фотографии, записи звонков, история продаж.
Основы ИИ · training data
Михаил МозгПроверено: 1 минута чтения
Ребенку
Чтобы научиться печь блины, нужно много раз попробовать и посмотреть, как делает бабушка. Компьютеру для учебы тоже нужны примеры: картинки, слова, числа. Если примеры понятные и разные, он учится правильно. Если все картинки темные и смазанные, он запутается. Поэтому люди внимательно собирают и проверяют то, что показывают компьютеру.
Простыми словами
Любая обученная система знает только то, что было в ее примерах. Если показывать ей фотографии одних рыжих котов, серого она может не узнать. Поэтому для учебы собирают разнообразные примеры и часто подписывают их вручную: на этом фото кот, это письмо жалоба. Кроме обучения, ИИ нужны рабочие материалы: ассистенту по договорам нужны сами договоры компании. Полнота и чистота этих материалов часто влияют на ответы не меньше, чем выбор алгоритма.
Для бизнеса
Для бизнеса это обычно не новые сведения, а то, что уже лежит в CRM, 1С, почте, записях звонков и таблицах. Беда в том, что они разбросаны по системам, с пропусками и дублями. Подготовка, то есть выгрузка, очистка, разметка и описание, нередко занимает больше времени, чем настройка самой модели. Сведения о клиентах подпадают под закон «О персональных данных» № 152-ФЗ от 27 июля 2006 года: важно, где они хранятся и кому передаются. Что измерять в процессах, чем собирать и куда передавать, мы подробно описали на отдельной странице.
Для специалиста
Обучающие данные (training data) делят на обучающую, валидационную и тестовую выборки (train, validation, test), чтобы честно оценить качество на примерах, которых модель не видела. Для обучения с учителем нужна разметка (labels); ее надежность проверяют согласием разметчиков (inter-annotator agreement). Типичные проблемы: утечка тестовых примеров в обучение (data leakage), смещение выборки (sampling bias), дисбаланс классов, дрейф распределения (data drift) после запуска. Для больших языковых моделей отдельно важны дедупликация, фильтрация качества и лицензии источников. Т. Гебру и соавторы в 2018 году предложили сопровождать каждый набор паспортом (datasheet): назначение, состав, процесс сбора, рекомендуемые применения и ограничения.
Пример
Сеть клиник хочет, чтобы ИИ сортировал обращения пациентов. Сначала аналитики выгружают из CRM обращения за прошлые годы, убирают имена и телефоны и вручную помечают тему каждого.
Связанные термины
Вопросы и ответы
Что такое данные для ИИ?
Откуда взять обучающие данные в компании?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений