Словарь ИИ
Что такое глубокое обучение
Коротко
Глубокое обучение (deep learning) это машинное обучение на нейросетях из многих слоев, которые сами выделяют нужные признаки из сырых данных: пикселей, звука, текста.
Основы ИИ · deep learning
Михаил МозгПроверено: 1 минута чтения
Ребенку
Когда ты рисуешь дом, сначала проводишь линии, потом из линий складываешь окна и дверь, а из них уже весь дом. Компьютер учится видеть картинки похоже, этаж за этажом. Нижний этаж замечает черточки, следующий собирает из них уголки и кружки, верхний понимает: это кот. Таких этажей много, поэтому учебу и называют глубокой.
Простыми словами
Старой программе распознавания человек объяснял, на что смотреть: на форму ушей, цвет, контур. Многослойные сети обходятся без подсказок. Им дают огромное число фотографий с подписями, и каждый слой учится находить свое: первые ловят края и пятна, средние детали вроде глаз, последние целые предметы. Такой подход требует много примеров и мощных видеокарт, зато хорошо справляется с речью, переводом, медицинскими снимками и текстами, где прежние методы ошибались чаще.
Для бизнеса
На многослойных сетях работают распознавание речи в колл-центре, чтение сканов и паспортов, поиск брака на конвейере по камере, большие языковые модели. Свою сеть с нуля компании учат редко: это дорого и требует большого объема размеченных примеров. Чаще берут готовую предобученную модель и дообучают ее на своих размеченных записях. Расходы складываются из разметки, аренды или покупки видеокарт и поддержки. Риск: такие системы плохо объясняют решения, поэтому в медицине, кредитах и найме нужен контроль человека и журнал проверок. Окупаемость на собственных данных честнее всего видно на пилоте с одним участком.
Для специалиста
Deep learning это класс методов обучения представлений (representation learning), где модель состоит из многих нелинейных слоев, и каждый следующий строит более абстрактное описание входа. Обзор Я. Лекуна, Й. Бенджио и Дж. Хинтона в Nature 2015 года формулирует основу: параметры всех слоев настраиваются по данным обратным распространением ошибки (backpropagation), признаки не проектируются вручную. Ключевые архитектуры: сверточные сети (CNN) для изображений, рекуррентные (RNN, LSTM) для последовательностей, трансформеры с механизмом внимания (attention) для текста и мультимодальных задач. Перелом показала работа А. Крижевского, И. Суцкевера и Дж. Хинтона на NIPS 2012: сверточная сеть с пятью сверточными слоями, 60 млн параметров, обучение на GPU и около 1,3 млн изображений ImageNet. Обучать очень глубокие сети помогают нормализация, остаточные связи (residual connections) и регуляризация вроде dropout.
Пример
Завод ставит камеру над конвейером, и сеть, обученная на фотографиях брака, отмечает детали с трещинами. Контролер осматривает только отмеченные.
Связанные термины
Вопросы и ответы
Чем глубокое обучение отличается от машинного обучения?
Почему обучение называют глубоким?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений