Словарь ИИ
Что такое обучение с подкреплением
Коротко
Обучение с подкреплением (reinforcement learning, RL) это способ, при котором программа пробует действия и учится на награде за удачные шаги.
Основы ИИ · reinforcement learning
Михаил МозгПроверено: 1 минута чтения
Ребенку
Когда щенка учат команде «сидеть», ему ничего не объясняют словами. Щенок делает разное: прыгает, лает, вертится. Как только он сел, хозяин дает ему кусочек сыра. Через несколько дней щенок садится сразу, потому что понял, за что хвалят. Компьютер можно учить похоже: он пробует разные ходы, получает очки за удачные и постепенно выбирает то, что приносит больше очков.
Простыми словами
Здесь нет готовых правильных ответов. Есть программа, которую называют агентом, есть среда, где она действует, и есть награда: число, которое говорит, насколько хорошо все прошло. Агент делает шаг, видит результат, получает плюс или минус и подправляет свою стратегию. Награда может прийти не сразу: в шахматах ясно, удачным ли был ход, только в конце партии. Так компьютеры научились играть в видеоигры, управлять роботами и подбирать ответы, которые нравятся людям.
Для бизнеса
Метод нужен там, где решение принимают много раз подряд и результат зависит от цепочки шагов: управление складскими запасами, динамические цены, маршруты курьеров, настройка оборудования. Есть и применение, которое касается каждой компании с чат-моделями: их ответы доводят до вежливого и полезного тона обучением на оценках людей (RLHF). Своими силами такой подход внедряют редко. Нужен симулятор процесса или длинная безопасная история, иначе модель будет учиться на живых клиентах и деньгах. Главный риск: агент находит лазейку и растит награду, а не прибыль. Поэтому формулу награды и границы действий согласуют до старта и проверяют на пилоте.
Для специалиста
Обучение с подкреплением (reinforcement learning) формализуют как марковский процесс принятия решений (Markov decision process): состояния, действия, вероятности переходов и функция награды. Агент ищет стратегию (policy), которая максимизирует ожидаемую дисконтированную сумму наград. Подходы: методы на основе функции ценности (value-based) вроде Q-обучения, градиент стратегии (policy gradient) и их сочетание actor-critic; отдельно различают безмодельные (model-free) и модельные (model-based) алгоритмы. Центральная проблема: баланс исследования и использования (exploration vs exploitation). Стандартный учебник: Sutton, Barto, «Reinforcement Learning: An Introduction», второе издание, MIT Press, 2018. Глубокое RL получило импульс после работы Mnih и др. 2013 года: сверточная сеть с вариантом Q-обучения научилась играть в семь игр Atari 2600 по сырым пикселям и в трех обошла человека-эксперта. В языковых моделях метод применяют для выравнивания по отзывам людей, как в InstructGPT (Ouyang и др., 2022).
Пример
Логистическая компания обучает агента на симуляторе своего склада: он решает, когда и сколько товара дозаказывать, и получает награду за выполненные заказы минус затраты на хранение. После тысяч смоделированных месяцев стратегию переносят в реальную систему закупок под контролем менеджера.
Связанные термины
Вопросы и ответы
Чем обучение с подкреплением отличается от обучения с учителем?
Как этот метод связан с чат-ботами?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений