Video

Transkript

Dota ist eines der beliebtesten und anspruchsvollsten Videospiele aller Zeiten.

Dota zu spielen bedeutet, sich als Fünferteam zu koordinieren und zu fokusieren.

Letztes Jahr haben wir einen Bot gebaut, der die weltbesten Spieler in dem 1-gegen-1 Minispiel besiegt hat.

Aber dieses Jahr wollen wir die besten Pro-Teams im vollständigen Spiel schlagen.

Um dies zu erreichen haben wir ein neues AI-System entwickelt, welches wir über die letzten Monate hinweg trainiert haben.

Unser System verwendet groß angelegtes Reinforcement Learning,

um unser Bot-Team gemeinsam zu trainieren.

Wir haben damit angefangen gegen Amateur-Teams anzutreten, um unser Können auf die Probe zu stellen.

Und, zu unserer Überraschung, haben wir bisher jedes

erste Spiel gegen jedes Team, gegen das wir angetreten sind, gewonnen.

[SPIELER:] Vorsicht, er wird dich auch erwischen. Irgendjemand anderes “TP” nach unten!

JEDER “TP”, JEDER “TP”!

Schnappt euch den Kerl! Ich kann’s nicht fassen!

[SPRECHERIN:] Um herauszufinden, wie gut unsere Bots wirklich sind,

haben wir einen Dota-Experten gebeten, einen Blick darauf zu werfen.

Mein Name ist William Lee, besser bekannt in der Dota-Community als “Blitz”.

Blitz hier mit Christy, wir werden eine kurze

Einführung in das Spiel geben, für alle, die es noch nicht kennen.

Die Regeln sind sehr einfach: “Besiege das gegnerische Team, erobere die Gebäude.”

Jeder Held hat mehrere verschiedene Fähigkeiten;

gespielt wird im “Spiegelmodus”, bei dem beide Teams die exakt gleichen Helden verwenden.

[SPRECHERIN:] In dieser Szene fügt das menschliche Team

der gegnerischen Basis gemeinsam zu fünft erheblichen Schaden zu. Crystal Maiden erscheint,

um die Baracken zu verteidigen. Sie springt mit “Blink Dagger” in den Kampf und schützt sich selbst

mit “Black King Bar”, während sie “Freezing Field” beschwört, um gewaltigen Schaden zu verursachen

während sie ununterbrechbar ist. Dank ihrer Kombo besiegt sie vier der menschlichen

Spieler in einem 2-gegen-5 Kampf.

Und “GG” wird angesagt — “Good Game”. Die Menschen denken nicht länger,

dass sie noch gewinnen können. Sie haben völlig recht.

Ihr Entwickler-Team wurde komplett zerstört.

Ich glaube, dass war der kürzeste Kommentator-Auftritt meines Lebens.

Anschließend folgte Spiel Nummer zwei. Die Menschen hatten Zeit, über das Spiel nachzudenken…

aber sie wurden noch heftiger besiegt.

Und die Bots haben genau das gemacht, worauf ich gehofft hatte:

Sie kontrollieren diesen Teil der Karte. Wenn man zwei Drittel der Karte wegnimmt…

sie haben nicht mal diese zwei unteren Türme angefasst.

Und sie liegen damit zu 100% richtig.

Das ist eines der höchsten Niveaus dieses Spiel zu spielen:

Diese Seite der Karte ist für die Bots sehr schwierig zu kontrollieren

und deswegen spielen sie nur auf der oberen und mittleren Seite

weil sie verstehen, dass das die beiden wichtigsten Bereiche sind, um das Spiel zu kontrollieren.

Die Fähigkeit das intuitiv zu tun, ist beindruckend.

Wenn das nur in einem Spiel passiert wäre, wäre es vielleicht purer Zufall gewesen

aber zwei Spiele in einer Reihe mit gewechselten Seiten — das bedeutet, dass es mehr als Zufall ist.

Es hat mich (und ich bin ziemlich gut in diesem Spiel) acht Jahre gekostet

diese Strategien, die der Bot intuitiv spielt, zu lernen.

Um unsere Bots zu trainieren verwenden wir Reinforcement Learning und lassen den Bot gegen sich selbst spielen.

Wir führen das Spiel auf über 100.000 CPUs aus

und unser Bot lernt aus jedem Spiel.

Weil Dota so komplex zu erlernen ist, sogar für einen einzelnen Spieler,

haben wir einen Hyper-Parameter erfunden, welchen wir “Team Spirit” nennen.

Die fünf Bots sind am Anfang ihres Trainings komplett egoistisch

aber wenn wir diesen Knopf drehen, fangen sie an, sich auch um ihre Mitspieler zu kümmern,

sodass die Bots lernen als Einheit zu spielen.

Nachdem die Bots gegen das Test-Team gewonnen hatten,

wollte Blitz die Bots selbst herausfordern. Er hat eine höhere Bewertung als das Test-Team

und wir haben ihn zusammen mit den besten Spielern aus dem Publikum antreten lassen.

[KOMMENTATOR 1:] Wie wir sehen können, ist Blitz kurz davor, hier zu sterben.

[KOMMENTATOR 2:] Ja, Blitz ist definitiv tot.

[KOMMENTATOR 1:] Jetzt sind die Menschen in der Bredouille. Zwei ihrer Teammitglieder sind noch für 20 Sekunden tot

und die Bots sind kurz davor, ihre erste “Lane of Rax” zu bekommen.

Noch ein anderer großer Teamkampf findet hier statt… und die Bots gewinnen tatsächlich.

Am Anfang sah es so aus, als ob die Menschen gewinnen würden.

Aber nach einer Weile schafften es unsere Bots auch dieses stärkere Team zu besiegen.

Wir sind noch weit davon entfernt Pro-Teams zu besiegen, aber ich glaube jeder hier war überrascht, das zu sehen.

Ich denke die Kooperationsfähigkeiten des Bots waren exzellent.

Er hat’s nie vermasselt.

Hinsichtlich der Koordination war das einer der besten Team-Kämpfe

weil ich das Gefühl hatte, jedes Mal sofort etwas abzubekommen, wenn ich einen Fehler gemacht habe.

Und ich glaube, dass normale Menschen das nicht machen.

Die Dota Weltmeisterschaft findet im August statt.

Während die besten Spieler der Welt sich vorbereiten,

arbeiten auch wir an der nächsten Version unseres Bots.

Um zu sehen, wie weit wir damit gekommen sind, werden wie im Juli ein Spiel gegen ein Team von Top-Spielern live übertragen.

Besonders interessant finden wir, dass die Trainingsmethode, welche wir verwenden, sehr allgemein ist.

Wir konzentrieren uns darauf Dota zu lernen, aber wir hoffen, dass uns das

mehr und mehr Einsicht gibt, wie AI-Systeme komplexe Probleme aller Art lösen können.

Das ist mein Lieblingsteil wenn ich höre, dass der Bot Fortschritte macht: Ich bekomme keine Angst,

ich freue mich. Weil ich denke, dass das eine weitere Herausforderung für mich ist,

die ich überwinden will. Das ist etwas, was nicht viele Leute erreichen werden.

Los geht’s!