Словарь ИИ

Что такое AlphaGo

Коротко

AlphaGo это программа лаборатории DeepMind для игры в го, которая в марте 2016 года выиграла у Ли Седоля со счетом 4:1.

История ИИ · AlphaGo

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Го это старинная игра на доске с черными и белыми камешками. Вариантов в ней так много, что их не пересчитать никакой машине. Ученые сделали программу, которая сначала смотрела, как играют мастера, а потом сыграла сама с собой огромное число партий. Так она научилась чувствовать удачный ход и победила знаменитого мастера, за которым следил весь мир.

Простыми словами

В го позиций несравнимо больше, чем в шахматах, поэтому перебрать их, как делали шахматные компьютеры, невозможно. AlphaGo решала задачу иначе. Одна нейросеть подсказывала, какие ходы стоит рассматривать, другая оценивала, кто выигрывает в позиции, а поиск проверял несколько продолжений. Сначала программа училась на партиях мастеров, потом совершенствовала игру, сражаясь сама с собой. Во второй партии матча с Ли Седолем она сделала 37-й ход, у которого, по данным DeepMind, был шанс 1 из 10 000 появиться в партии.

Для бизнеса

AlphaGo показала бизнесу две вещи. Первая: система может найти решение, которого нет в опыте людей, если умеет сама проверять варианты и получать оценку результата. Похожий принцип пробуют в планировании производства, логистике и управлении запасами. Вторая: такие проекты дороги. Нужен симулятор, где система безопасно ошибается множество раз, и метрика, которую нельзя обмануть. Без цифровой копии процесса программа училась бы на живых клиентах и деньгах, а это недопустимо. Поэтому компании чаще берут готовые модели прогнозов и оптимизации, а обучение с подкреплением оставляют для задач, где среду можно точно смоделировать. Где такой подход окупится, оценивают до начала разработки.

Для специалиста

Программу описали Silver и соавторы в статье «Mastering the game of Go with deep neural networks and tree search» (Nature, январь 2016). Сверточная сеть стратегии (policy network) выбирала кандидатов в ходы, сеть ценности (value network) оценивала позицию; сеть стратегии сначала училась с учителем (supervised learning) на партиях экспертов, затем с подкреплением в партиях с собой, сеть ценности обучали на позициях из этих партий, а при игре их объединял поиск Монте-Карло по дереву (MCTS). В октябре 2015 года AlphaGo выиграла у трехкратного чемпиона Европы Фань Хуэя 5:0, это первая победа ИИ над профессионалом в го. В марте 2016 года в Сеуле она выиграла у Ли Седоля 4:1, матч посмотрели больше 200 млн человек, а программа получила высший профессиональный ранг 9 дан. Версия AlphaGo Zero (октябрь 2017) обходилась без партий людей: начинала со случайных ходов и после трех дней игры с собой выиграла у прежней версии 100:0. Пространство игры DeepMind оценивает в 10 в степени 170 конфигураций доски.

Пример

Логистическая компания хочет научить систему распределять машины по заказам. Прежде чем подключать ее к реальным рейсам, инженеры строят симулятор по истории заказов, и система тренируется там, как AlphaGo тренировалась в партиях с собой.

Связанные термины

Вопросы и ответы

Кого обыграла AlphaGo?

В октябре 2015 года чемпиона Европы Фань Хуэя со счетом 5:0, а в марте 2016 года в Сеуле Ли Седоля со счетом 4:1. Матч в Сеуле, по данным DeepMind, посмотрели больше 200 млн человек.

Чем AlphaGo Zero отличается от AlphaGo?

AlphaGo Zero не видела ни одной партии людей и училась только на игре с собой, начиная со случайных ходов. По данным DeepMind, через три дня такой тренировки она выиграла у прежней версии 100:0.

Источники

Где это применяют в компании

ИИ в экономике и бизнесе: где работает и что дает по секторам

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений