Словарь ИИ

Что такое MLOps

Коротко

MLOps это набор практик и инструментов, которые переводят модель машинного обучения из эксперимента в стабильную работу: сборку, выкладку, мониторинг и повторное обучение.

Машинное обучение · machine learning operations

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Представь, что ты вырастил на подоконнике помидор. Вырастить один раз мало: его нужно поливать, следить, чтобы не завял, и пересаживать, когда горшок станет тесным. С умными программами так же. Сделать программу можно быстро, а ухаживать за ней приходится каждый день. Правила такого ухода и есть эта работа.

Простыми словами

Обучить модель на ноутбуке это половина дела. Дальше ее надо упаковать, поставить на сервер, подключить к рабочим системам, следить за ошибками и время от времени обучать заново на свежих данных. Если делать это вручную, каждый шаг зависит от одного человека, и через месяц никто не помнит, на каких данных собрана текущая версия. MLOps превращает эти шаги в конвейер: данные, обучение, проверка и выкладка идут по одним правилам, а каждая версия записана. Так же в обычной разработке программ обновления выпускают автоматически.

Для бизнеса

Без этой дисциплины модели живут недолго: автор уволился, данные поменялись, точность упала, а заметили через квартал. В статье Sculley и соавторов на NeurIPS 2015 такие скрытые затраты назвали техническим долгом систем машинного обучения и предупредили о больших постоянных расходах на поддержку. Что входит в бюджет: хранение данных и версий моделей, автоматическое обучение и проверки, мониторинг качества и дрейфа данных, дежурства. Для одной небольшой модели хватит простых скриптов и регламента, для десятка моделей нужна платформа и отдельная роль. До запуска уточните у подрядчика, кто владеет кодом, данными и моделью, как откатить неудачную версию и кто следит за качеством после сдачи.

Для специалиста

MLOps (machine learning operations) это перенос практик DevOps на системы машинного обучения, где кроме кода версионируются данные и модели. Kreuzberger, Kühl и Hirschl (2022) по обзору литературы, инструментов и интервью с экспертами описали его принципы, компоненты, роли и архитектуру. Типичный контур: конвейер данных с проверкой схемы, хранилище признаков (feature store), трекинг экспериментов, реестр моделей (model registry), автоматический конвейер обучения, развертывание в канареечном или теневом режиме, мониторинг качества и дрейфа. Руководство Google Cloud (обновлено 28.08.2024) выделяет три уровня зрелости: 0, ручной процесс; 1, автоматизация конвейера обучения; 2, автоматизация CI/CD самого конвейера. К CI и CD там добавлено непрерывное обучение (continuous training, CT): автоматическое повторное обучение и выкладка моделей. Там же отмечено, что код модели занимает лишь малую часть реальной системы. Sculley и соавторы (NeurIPS 2015) перечислили источники технического долга: размывание границ, запутанность, скрытые петли обратной связи, необъявленные потребители, зависимости от данных, проблемы конфигурации.

Пример

Ритейлер держит двенадцать моделей прогноза спроса по регионам. Раньше аналитик раз в квартал вручную обучал каждую заново. Теперь конвейер делает это каждую неделю, новая версия выходит, только если обошла прежнюю на свежих данных, а при падении качества система откатывает ее и пишет дежурному.

Связанные термины

Вопросы и ответы

Чем MLOps отличается от DevOps?

DevOps автоматизирует сборку и выкладку кода. В машинном обучении меняются еще данные и модели, поэтому сюда добавляют версионирование датасетов, автоматическое обучение, проверку качества моделей и мониторинг дрейфа после запуска.

Нужен ли MLOps небольшой компании?

Отдельная платформа нужна не всем. Но базовые вещи стоят недорого и нужны уже для одной модели: записанная версия данных и кода, автоматическая проверка качества перед выкладкой и мониторинг после нее.

Источники

Где это применяют в компании

ИИ-департамент: кто в компании отвечает за результат ИИ

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений