Видео

Транскрипт

DotA одна из самых популярных и сложных компьютерных игр.

Пять игроков на каждый команде должны координировать и общаться чтобы выиграть игру.

В прошлом году мы создали бот который победил чемпионов мира один на один.

В этом году мы хотим победить целую команды профессионалов в полной игре.

Мы построили новою систему и последние несколько месяцев её тренируем.

Система использует способ “reinforcement learning” (обучения с подкреплением) на огромном масштабе

чтобы научить наших ботов играть вместе командой.

Теперь мы начинаем тестировать нашу систему против сильных но не профессиональных команд.

К нашему удивлению пока что наши боты победили (в первой игре)

всех противников против которых они играли.

[Игрок:] Осторожно! Он тебя тоже убьёт! Кто нибудь ТП вниз!

ВСЕ ТП! ВСЕ ТП!

Давайте! Не верю.

[Комментатор:] Чтобы понять насколько сильны наши боты,

мы спросили эксперта.

Меня зовут Вильям Ли, но в игре меня зовут Blitz.

Blitz здесь с Кристи, коротко объясню

игру DotA для тех, кто правила игры не знает.

Цель игры очень проста: убейте героев на чужой команде, разрушите их здания.

У каждого героя несколько возможных действий.

В наших играх, на каждой команде те же самые герои.

[Комментатор:] Здесь, команда героев под контролем людей

нападает вместе на базу ботов, и бот-герой “Crystal Maiden”

защищает казарму. Она входит в бой используя “blink dagger”, защищается используя

“Black King Bar”, и нападает с “Freezing Field”, так чтобы её было невозможно прервать.

Она смогла убить четыре человечьих героев, хотя их было пятеро против

двух ботов.

Команда человеческих игроков пишет “GG” – они думают что выигрыш не возможен.

Они абсолютно правы.

Так вот, боты эту команду легко победили.

Пожалуй, я прокомментировал самый быстрый проигрыш моей жизни.

До второй игре, человеческие игроки могли немного подумать, планировать, и.т.д…

Боты их опять побили.

Боты играли ровно так, как я посоветовал бы:

Раз они контролируют эту часть карты, они взяли оставшиеся две трети карты,

и даже не нападали на нижние две башни.

У них правильный подход –

Это очень высокий уровень игры.

Эту часть карты им будет очень сложно контролировать,

так что они играют только на верхней части и сбоку,

потому что понимают что это самые важные части карты в игре.

Их возможность это понять, это класс.

Я бы поверил что первый раз им просто повезло, но

два раза подряд, это не совпадение, не удача.

Я достаточно хорошо играю, и этот бот использует стратегии

которые я освоил только после восьми лет игры в DotA.

Что бы учится, наши боты играют против себя.

Мы используем более чем 100.000 CPU

и наши боты учатся от каждой игры.

Научится играть в DotA сложно даже для идиного игрока

Так что мы создали новый гиперпараметер который ми назвали “теам спирит” (сотрудничество)

Сначала, пять ботов только заинтересованы своим индивидуальным успехом.

Пока боты учатся, мы увеличиваем этот параметр, и это увеличивает приоритет успеха их команды

и они начинают играть вместе как одна команда

После того как он увидел как наши боты победили тест команду,

Blitz хотел сам попытается их победить. У него гораздо выше рейтинг в Dota чем у тест команды.

Мы создали команду с ним и с лучшими игроками из наших зрителей.

[Комментатор 1:] Мне кажется, Блитзу здесь конец.

[Комментатор 2:] Да, точно конец.

[Комментатор 1:] Да, человеческие игроки в плохом положение. Двое мёртвы

и двадцать секунд до следующей жизни, а боты почти что завоевали их первые казармы.

Ещё один большой бой с ботами… и они выигрывают

Сначала в этой игре опережали люди,

но в конце концов, боты смогли победить и эту более сильную команду.

Мы все ещё далеки от победы над профессиональными командами, но я думаю все мы здесь были удивлены увидев это.

Я считаю что боты отлично сотрудничали,

Боты играли безошибочно.

Координация ботов была одной из лучших в командном бою

Потому что, каждый раз когда я ошибался, бот меня сразу наказывал

нормальные игроки этого не делают

чемпионат мира Dota состоится в августе

В то время как лучшие игроки в мире готовятся к чемпионату,

мы готовим следующую версию нашего бота

Чтобы проверить наш прогресс, в июле мы проведём матч в прямом эфире, где мы будем играть против команды лучших игроков.

Нас больше всего радует то, что метод который мы использовали очень общий.

Сейчас мы сосредоточены на DotA, но мы надеемся, что это даст нам

представление о том, как решить любую сложную проблему с помощью искусственного интеллекта

Когда я слышу, что боты улучшаются, я не боюсь –

я в восторге. Потому что это ещё одна сложность

которую я могу преодолеть, с которой я могу сражаться. И не много кто сможет!

Я готов – давайте!