Словарь ИИ
Что такое датасет
Коротко
Датасет (dataset) это набор данных, собранный и оформленный для обучения или проверки модели: таблица, папка с картинками или корпус текстов, где каждый пример описан одинаково.
Основы ИИ · dataset
Михаил МозгПроверено: 1 минута чтения
Ребенку
У тебя есть альбом с наклейками животных, и под каждой подписано: лев, жираф, слон. Если дать такой альбом компьютеру, он сможет учиться узнавать зверей. Вот это и есть датасет: аккуратно собранная коллекция примеров с подписями. Чем больше в ней разных картинок, тем увереннее программа узнает новых зверей.
Простыми словами
Это не просто куча файлов, а упорядоченная коллекция. Каждый пример в ней описан одинаково: фотография и подпись «кошка» или строка таблицы с ценой квартиры, площадью и районом. Коллекцию обычно делят на части: на одной модель учится, на другой ее проверяют. Готовые наборы выкладывают в открытый доступ ученые и компании, а свои собирают из рабочих систем. Если в примерах есть ошибки или перекосы, обученная программа повторит их.
Для бизнеса
Собственная размеченная история часто оказывается главным активом ИИ-проекта: алгоритм можно поменять, а ваши заявки, договоры или фото дефектов с пометками конкурент не купит. Стоимость складывается из выгрузки, очистки, разметки и проверки качества; размечают свои эксперты или подрядчики. Заранее проверьте права: можно ли использовать эти записи для обучения, нет ли в них персональных данных без согласия, кому принадлежит результат разметки. У открытых коллекций тоже есть лицензии, и часть из них запрещает коммерческое использование. Сколько примеров хватит для первого результата, выясняют на пилоте, до покупки оборудования.
Для специалиста
Dataset это коллекция примеров с единой схемой: признаки (features), целевая переменная (target) или разметка (labels), метаданные. Для оценки ее делят на train, validation и test, при малом объеме применяют кросс-валидацию (cross-validation). Классический пример: ImageNet, база изображений, упорядоченная по иерархии WordNet; ее представили Я. Дэн, Л. Фей-Фей и соавторы на CVPR 2009, сейчас на сайте проекта указано больше 14 млн изображений. На ее части А. Крижевский и соавторы обучили сверточную сеть, описанную на NIPS 2012. Важные свойства: репрезентативность, баланс классов, качество разметки, отсутствие дублей между частями. Документируют набор паспортом (datasheet for datasets) по схеме Т. Гебру и соавторов (2018) и указывают лицензию; хранят в форматах CSV, Parquet или JSON Lines.
Пример
Производитель окон собрал датасет из фотографий готовых изделий, где мастера отметили царапины и сколы. На этих снимках обучили камеру на линии упаковки.
Связанные термины
Вопросы и ответы
Что такое датасет простыми словами?
Где взять датасет для обучения нейросети?
Источники
- ImageNet, About ImageNet; J. Deng et al., ImageNet: A Large-Scale Hierarchical Image Database, CVPR 2009image-net.org
- A. Krizhevsky, I. Sutskever, G. E. Hinton, ImageNet Classification with Deep Convolutional Neural Networks, NIPS 2012papers.nips.cc
- T. Gebru et al., Datasheets for Datasets, 2018arxiv.org
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений