Vidéo

Transcription

Dota est un des jeux-videos les plus populaires et compétitifs au monde.

Pour jouer à Dota il faut avoir une équipe de cinq joueurs concentrés et coordonnés.

L’année dernière, nous avons construit un bot qui a battu les meilleurs joueur au monde au mini-jeu 1v1.

Mais cette année nous voulons battre les meilleurs équipes professionelles dans le jeu complet.

Pour y parvenir, nous avons construit une nouvelle IA, qui a passé ces derniers mois à s’entraîner.

Nôtre IA se sert de l’apprentissage par renforcement à très grande échelle,

afin que nos bots apprennent à jouer en équipe.

Nous commençons maintenant à nous mesurer contre des équipes amatrices

et surprenamment nous avons gagné nos premières parties

contre chaque équipe avec laquelle nous avons testé

[JOUER:] Attention, il va aussi te tuer! Quelqu’un devrait se téléporter en bas!

Tout le monde téléportez-vous!

Chope ce gars! C’est pas possible

[NARRATEUR:] Afin to comprendre le niveau de nos bots

nous avons demandé à un expert en Dota de les étudier.

Je m’appelle William Lee, mieux-connu sous le nom de Blitz dans la communauté Dota

Ici Blitz avec Christy; on va rapidement

resumer le but du jeu pour ceux qui ne connaissent pas.

Les règles sont très simple: “tuer les membres de l’équipe adverse, et détruire leurs bâtiments.”

Chaque héro possède plusieurs sorts unique;

La partie se jouera avec des équipes symétriques: les deux équipes ont les même héros.

[NARRATEUR:] Dans cet affrontement, les 5 humains

sont en train d’infliger des dégâts massifs à la base adverse, quand Crystal Maiden revient

pour défendre les baraquements. Elle plonge dans la bataille avec Blink Dagger, et se protège avec

Black King Bar, pendant qu’elle lance Freezing Field. Son sort inflige des degats terribles

et ne peux pas être interrompu. Grace à son combo, elle finit par éliminer 4 joueurs humains

dans une bataille 2 contre 5.

Le “GG” a été annoncé – “Good Game (Bonne Partie)”. Les humains ne pensent plus pouvoir gagner.

Ils ont complètement raison.

Donc, leur équipe de test a été massacré.

Ca doit être mon plus court rôle de casteur de ma vie.

Plus il y a eu une deuxième partie. Les humains ont eu le temps de réfléchir à leur stratégie et au jeu.

A nouveau, ils se sont fait battre.

Les bots ont fait exactement ce que j’espérait:

Ils contrôlent cette portion du terrain. Comme ça, ça élimine les 2/3 de la carte,

ils ne se sont même pas aventuré vers les deux tours du bas.

Et c’est très judicieux.

C’est un des coup le plus fort que l’on puisse faire:

Ce côté de la carte est super difficile à contrôler pour les bots,

et donc ils jouent seulement le haut et le milieu,

parce qu’ils comprennent que ceux sont les deux endroits les plus importants à contrôler.

Avoir l’intuition qu’il faut jouer comme ça, c’est dingue.

Bon, si j’avais vu ça dans une seule partie, j’aurai pensé que c’était le hasard. Mais

que cela se produise deux fois d’affilée, tout en renversant de quel côté ils jouent — cela veux dire que ce n’est pas juste une coincidence.

Cela m’a prit (et je suis plutôt bon à ce jeu) huit ans

pour apprendre les stratégies que ce bot fait instinctivement.

Nos bots jouent contre eux-même (self play) et nous nous servons de l’apprentissage par renforcement pour les entrainer.

Nous faisons tourner le jeu sur plus de 100,000 processeurs,

et nos bots s’améliorent avec chaque partie qu’ils jouent.

Parce que Dota est un jeu difficile à apprendre, même en jouant tout seul,

nous avons créé un paramètre que nous appelons “esprit d’équipe”.

Les cinq bots sont complètement égoïstes au début,

mais en variant ce paramètre, nous leurs disons de progressivement plus s’intéresser à leurs coéquipiers,

pour qu’ils puissent enfin jouer ensemble dans une équipe soudée.

Après avoir vu cette victoire contre l’équipe de test,

Blitz a voulu défier les bots lui-même. Il est mieux classé que l’équipe de test,

et les meilleurs joueurs du public l’ont rejoint.

[CASTEUR 1:] Comme nous pouvons le voir, Blitz est sur le point de mourir là.

[CASTEUR 2:] Oui, là Blitz est totalement cuit.

[CASTEUR 1:] Maintenant, les humains sont dans le pétrin. Deux des membres de leur équipe sont K.O. avec 20

secondes restantes, et les bots sont sur le point de détruire leur première rangée de baraquement.

Une autre grande bataille ici contre les bots… mais cette fois ils s’en sortent.

Au début, ça avait l’air d’être bien partie pour les humains.

Mais petit à petit, nôtre bot s’est débrouillé pour battre même la deuxième équipe de joueurs mieux classés.

Nous sommes encore loin de battre dés équipes professionnelles, mais je pense que tout le monde était surpris des résultats d’aujourd’hui.

Je trouve que la capacité combat en équipe du bot est excellente.

Il a fait un sans faute.

Quand en se penche sur l’aspect de coordination, c’était parmis le meilleur du pur combat en équipe,

parce qu’à chaque fois que je commettait la moindre erreur, j’avais l’impression que le bot s’en servait pour me battre

et je pense que des humains normaux ne font pas ça.

Les championnats du monde de Dota vont avoir lieu en Août.

Tandis que les meilleurs joueurs au monde se prépare pour concourir,

nous aussi travaillons sur la prochaine generation de notre bot.

Pour voir combien de progrès nous avons fait, nous organisons un match live en Juillet, où nous affronterons une équipe composée de joueurs de haut niveau.

Dans l’ensemble, ce que nous trouvons de plus excitant dans cette histoire, c’est que la méthode d’apprentissage que nous utilisons est très générale.

Nous nous sommes focalisé sur Dota, mais nous espérons que cela nous en apprendra plus

sur comment l’IA peut résoudre des problèmes en tout genre.

C’est ce que je préfère quand on me dit que les bots s’améliorent: je n’ai pas peur,

Au contraire, ça me donne la pêche. Par ce que c’est un nouvel obstacle

à franchir. Il n’y a pas grand monde qui pourra y parvenir.

Allons-y!