Leistung von Bots und KI-Spielern: PR, Elo und Glück erklärt

Vier Zahlen. Vier verschiedene Geschichten

Nach jedem Match zeigt dir GamesGrid vier Angaben: Spielniveau, PR, Glück und dein Elo-Rating im Karrieremodus. Sie lassen sich leicht verwechseln, beschreiben aber verschiedene Dinge, und die Zahl, die den meisten Spielern am wichtigsten ist, ihr Rating, erzählt nicht die ganze Geschichte, wie sie gespielt haben.

Diese Seite erklärt, was jede einzelne bedeutet, wie wir unsere eigenen Spieler daran kalibriert haben und warum wir die Methode veröffentlichen statt nur das Ergebnis.

PR: wie gut du tatsächlich gespielt hast

Das Performance Rating misst die Qualität deiner Entscheidungen, unabhängig davon, ob du gewonnen hast. Die Rechnung ist einfach:

Zähle die Equity zusammen, die du über das Match verschenkt hast. Teile sie durch die Zahl deiner Entscheidungen. Multipliziere mit 500.

Niedriger ist besser. Null bedeutet keine Fehler laut der Analyse-Engine.

„Verschenkte Equity“ ist der Unterschied zwischen dem Zug, den du gespielt hast, und dem Zug, den die Engine bevorzugte, gemessen an ihrem Erwartungswert. Ein Zug, der hässlich aussieht, kann nichts kosten. Ein ruhiger, natürlich wirkender Zug kann die teuerste Entscheidung des Matches sein. Dem PR ist egal, wie es aussah.

Aus dieser Definition folgen zwei Dinge, und beide sind wichtig.

Es ist egal, ob du gewonnen hast. Du kannst schlecht spielend gewinnen und das beste Backgammon deines Lebens spielend verlieren. Das PR hilft dir, das Ergebnis von den Entscheidungen zu trennen, die du getroffen hast.

Es ist ein Durchschnitt pro Entscheidung, deshalb sagt ein kurzes Match sehr wenig aus. Bei zehn leichten Entscheidungen kann fast jeder gut abschneiden. Ein Match voller schwieriger Stellungen gibt dir mehr Gelegenheiten, danebenzuliegen. Ein Match ist ein Datenpunkt, kein Urteil. Ein stabiles Bild deiner Leistung braucht eine Reihe von Matches dahinter, und deshalb sagt dir eine ganze Karriere davon mehr als eine einzelne Sitzung.

Was die Zahlen auf der Skala bedeuten

Das PR ist nützlicher, wenn du weißt, wo du darauf stehst. Das ist die Leiter, auf der unsere eigenen Spieler aufgebaut sind, wobei jeder Charakter innerhalb seines Niveaus ein individuelles Ziel hat.

Das sind die Zielbereiche und Start-Ratings der Charaktere, keine garantierten Ergebnisse für ein einzelnes Match.

Zur Orientierung außerhalb unseres eigenen Clubs: Ein menschlicher Weltklassespieler spielt über ein Turnier hinweg etwa einen PR von 3 bis 5. Das sollte man im Kopf behalten, bevor man die eigenen ersten Ergebnisse zu hart beurteilt.

Einen weiteren nützlichen Vergleich liefern die menschlichen Daten, mit denen die Besetzung aufgebaut wurde. Ein starker Spieler mit einem PR um 2,3 findet den besten Zug der Engine etwa in 85 % der Fälle. Ein schwächerer Spieler mit einem PR um 11 tut das in etwa 69 % der Fälle.

Der Unterschied beträgt sechzehn Prozentpunkte. Backgammon beherrscht man nicht, indem man nie danebenliegt. Man wird darin besser, indem man seltener und weniger teuer danebenliegt.

Karriere-Elo-Rating: wer gewonnen hat

Dein Karriere-Elo-Rating ist die Elo-artige Zahl, die sich mit deinen Ergebnissen im gewerteten Spiel bewegt. Sie steigt, wenn du gewinnst, und fällt, wenn du verlierst, wobei die Größe der Änderung vom Rating deines Gegners abhängt.

Sie beantwortet eine andere Frage als das PR: Wo stehst du im Wettbewerbsfeld, und wen willst du einholen?

Aber sie ist eine Aufzeichnung von Ergebnissen, und zu Ergebnissen im Backgammon gehört Glück. Eine Saison gibt ein breiteres Bild als ein Abend. Keines von beiden sollte mit einer direkten Beurteilung jeder deiner Entscheidungen verwechselt werden.

Bei GamesGrid startet jeder Charakter mit dem Karriere-Elo-Rating, das seinem Niveau zugewiesen ist, von 1100 für einen Anfänger bis 2300 an der Spitze. Von da an ändert es sich mit den Ergebnissen, genau wie deines.

Glück: die Zahl, die den Streit beendet

Neben deinem PR zeigt der Bildschirm nach dem Match das Glück. Für jeden Wurf misst es die Differenz zwischen dem, was du bekommen hast, und dem, was ein durchschnittlicher Wurf in dieser Stellung wert gewesen wäre, und addiert diese Differenzen über das Match.

Es gibt dafür einen einzigen Grund. Sobald Glück eine Zahl auf dem Bildschirm ist, hört es auf, ein Argument zu sein. Du hast vielleicht eine Serie ausgezeichneter Würfe bekommen und trotzdem schlecht gespielt. Du wurdest vielleicht überrollt, obwohl du gute Entscheidungen getroffen hast. Beides kommt ständig vor. Die Qualität deines Spiels von den Würfen zu trennen, die du bekommen hast, ist der Anfang jeder Verbesserung.

Das Glück wird nach jedem Match angezeigt, auch bei nicht gewerteten, weil es die Würfel beschreibt und nicht deinen Platz in der Rangliste.

Die vier Maße im Vergleich

Diese Unterscheidungen gehören dazu, wie die Plattform funktioniert, nicht nur dazu, wie der Ergebnisbildschirm angeordnet ist. Das Karriere-Elo-Rating hält Ergebnisse fest. Das PR misst die Entscheidungsqualität. Das Spielniveau kennzeichnet das Niveau des Gegners. Das Glück beschreibt, was die Würfel beigetragen haben.

Sie werden getrennt gehalten, und nichts, was man kaufen kann, verbessert eines davon.

Wie wir die Besetzung an diesen Zahlen kalibriert haben

Ein PR-Bereich auf einer Seite ist eine Behauptung. Das wurde getan, um sie zu belegen.

Wir haben zuerst Menschen gemessen. Etwa 200.000 Entscheidungen von rund 100 echten Spielern wurden analysiert, darunter alle unsere Testmatches, mit PR-Werten von 1,7 bis 15,9, jede einzelne verglichen mit dem Urteil der Engine. Daher stammt die Form des Spielmodells: wo Menschen Fehler machen, wie oft, wie teuer diese Fehler sind und wo sie sich kaum je irren.

In dieser menschlichen Stichprobe machten Rennen und Auswürfeln etwa 15 % der Züge aus, aber weniger als 1 % der insgesamt verlorenen Equity. Dieses Muster prägte auch, wie unsere Mitglieder diese Stellungen behandeln.

Zugwahl und Cube-Handling wurden getrennt angepasst. Es sind verschiedene Fähigkeiten, und ein Spieler kann in einer stärker sein als in der anderen. Was einen Charakter in sein Niveau einordnet, sind die kombinierten Kosten seiner Zug- und Cube-Fehler.

Dann wurde jedes Niveau durch Messung getestet, nicht nur nach Gefühl. Jedes wurde vor der Veröffentlichung über 200 Partien mit frischen Würfeln gespielt und vom Analysten in voller Stärke bewertet. Erst danach wurden die Gegner von Hand gespielt, Match für Match, und die Niveaus anhand dessen, was diese Sitzungen zeigten, erneut angepasst. Eine Zahl kann stimmen, während sich der Gegner trotzdem falsch anfühlt.

Diese beiden Schritte arbeiten zusammen. Zahlen allein können einen Gegner hervorbringen, der ein statistisches Ziel erreicht, sich aber nicht überzeugend anfühlt. Urteilsvermögen allein führt zu einer Behauptung, die niemand sonst überprüfen kann.

Die Aussage, die wir treffen, ist konkret: Die Besetzung ist an ihren beabsichtigten Niveaus gemessen. Wir behaupten nicht, dass ein Charakter in deinem nächsten Match genau seinen Ziel-PR erreicht. Dieselbe Schwankung, die deine Leistung beeinflusst, beeinflusst auch seine.

Wie das Modell funktioniert, einschließlich unvollkommener Bewertung, Cube-Temperamenten und dem Fehlen eines Fehlerbudgets, wird auf der Seite Bots und KI erklärt.

Der Richter ändert sich nie

Keiner dieser Vergleiche hätte viel Aussagekraft, wenn der Analyst seinen Maßstab von einem Gegner zum anderen änderte.

Gegen wen du auch gespielt hast, die Auswertung danach nutzt jedes Mal dieselben Einstellungen: 2-Ply-Auswertung, kein zusätzliches Rauschen und derselbe Zugfilter.

Der Analyst wird nie für einen Anfänger abgeschwächt oder für GG Guru verstärkt. Beide werden nach demselben Maßstab bewertet, und du auch.

Das hält Vergleiche innerhalb von GamesGrid konsistent und lässt uns unsere eigene Kalibrierung prüfen. Wenn sich die gemessene Leistung außerhalb des Zielbereichs eines Niveaus bewegt, gibt uns die Analyse eine Möglichkeit, das zu erkennen.

Prüfe die Zahlen selbst

Jedes Match lässt sich als Standard-.mat-Datei exportieren. Lade sie in GNU Backgammon, eXtreme Gammon oder ein anderes kompatibles Analyseprogramm und werte die Entscheidungen mit den Einstellungen aus, die du bevorzugst.

Wir sähen es lieber so. Eine Analyse, die du nicht unabhängig prüfen kannst, musst du vollständig auf Treu und Glauben hinnehmen. GamesGrid gibt dir das Match-Protokoll, damit du selbst nachsehen kannst.

Ein Hinweis zu den ursprünglichen GamesGrid-Bots

Die Bots, die von 1996 bis 2008 auf GamesGrid liefen – Forever, Raccoon, Beaver, Otter, Weasel, Chipmunk und Tutor –, wurden anders abgestuft. Eine einzige Engine in voller Stärke nutzte absichtlich herbeigeführte Fehler in kontrollierter Häufigkeit, um schwächere Gegner zu erzeugen.

Das ergab eine klare Leiter aus einem einzigen zugrunde liegenden Modell. Die neue Besetzung geht anders vor und nutzt die gemessenen Muster menschlicher Fehler, um die Entscheidungen jedes Gegners zu formen.

Die dokumentierten Ratings der ursprünglichen Bots und der archivbasierte Bericht über ihre Entwicklung stehen auf der Seite zur GG-Familie.