Bots og AI-spillere: PR, Elo og held forklaret

Fire tal. Fire forskellige historier

Efter hver match viser GamesGrid dig fire oplysninger: niveau, PR, held og din karriere-Elo-rating. De er lette at forveksle, men de beskriver forskellige ting, og den, de fleste spillere går mest op i, deres rating, fortæller ikke hele historien om, hvordan de spillede.

Denne side forklarer, hvad hver af dem betyder, hvordan vi har kalibreret vores egne spillere mod dem, og hvorfor vi offentliggør metoden og ikke kun resultatet.

PR: hvor godt du faktisk spillede

Performance Rating måler kvaliteten af dine beslutninger, uafhængigt af om du vandt. Regnestykket er ligetil:

Læg den equity sammen, du gav væk i løbet af matchen. Divider med antallet af beslutninger, du traf. Gang med 500.

Lavere er bedre. Nul betyder ingen fejl ifølge analysemotoren.

»Equity givet væk« er forskellen mellem det træk, du spillede, og det træk, motoren foretrak, målt på deres forventede værdi. Et træk, der ser grimt ud, kan koste intet. Et stille, naturligt udseende spil kan være matchens dyreste beslutning. PR er ligeglad med, hvordan det så ud.

To ting følger af den definition, og begge betyder noget.

Den er ligeglad med, om du vandt. Du kan vinde med dårligt spil og tabe med dit livs bedste backgammon. PR hjælper dig med at adskille resultatet fra de beslutninger, du traf.

Den er et gennemsnit pr. beslutning, så en kort match siger meget lidt. Ti lette beslutninger, og næsten alle kan score godt. En match fuld af svære stillinger giver dig flere chancer for at fejle. Én match er et datapunkt, ikke en dom. Et stabilt billede af din præstation kræver en række matcher bag sig, og det er derfor, en karriere af dem fortæller dig mere end en enkelt aften.

Hvad tallene på skalaen betyder

PR er mere nyttig, når du ved, hvor du står på den. Dette er den rangstige, vores egne spillere er bygget på, hvor hver karakter har fået et individuelt mål inden for sit niveau.

Det er karakterernes mål-intervaller og startratings, ikke garanterede resultater for en enkelt match.

Til orientering uden for vores egen klub spiller et menneske i verdensklasse omkring PR 3 til 5 over en turnering. Det er værd at huske, før du bedømmer dine egne første resultater for hårdt.

Der er endnu en nyttig sammenligning i de menneskelige data, der blev brugt til at bygge rollebesætningen. En stærk spiller, omkring PR 2,3, finder motorens bedste træk omkring 85 % af tiden. En svagere spiller, omkring PR 11, gør det omkring 69 % af tiden.

Forskellen er seksten procentpoint. Backgammon er ikke et spil, du mestrer ved aldrig at tage fejl. Det er et spil, du bliver bedre til ved at tage fejl sjældnere og billigere.

Karriere-Elo-rating: hvem der har vundet

Din karriere-Elo-rating er det Elo-lignende tal, der bevæger sig med dine resultater i ratet spil. Det stiger, når du vinder, og falder, når du taber, og størrelsen af ændringen afhænger af din modstanders rating.

Det svarer på et andet spørgsmål end PR: hvor står du i det konkurrerende felt, og hvem forsøger du at indhente?

Men det er en optegnelse over udfald, og udfald i backgammon rummer held. En sæson giver dig et bredere billede end en aften. Ingen af dem bør forveksles med en direkte bedømmelse af hver beslutning, du traf.

På GamesGrid begynder hver karakter på den karriere-Elo-rating, der er tildelt dens niveau, fra 1100 for en Begynder til 2300 i toppen. Derfra ændrer den sig med resultaterne, ligesom din.

Held: tallet, der afslutter diskussionen

Ved siden af din PR viser skærmen efter matchen Held. For hvert kast måler det forskellen mellem det, du fik, og det, et gennemsnitligt kast i den stilling ville have været værd, og lægger så de forskelle sammen over matchen.

Det er der af én grund. Når held først er et tal på skærmen, holder det op med at være et argument. Du kan have fået en stribe fremragende kast og alligevel spillet dårligt. Du kan være blevet kørt over, mens du traf gode beslutninger. Begge dele sker hele tiden. At adskille kvaliteten af dit spil fra de kast, du fik, er dér, forbedringen begynder.

Held vises efter hver match, også de uratede, fordi det beskriver terningerne og ikke din plads på ranglisten.

De fire mål side om side

De skel er en del af, hvordan platformen fungerer, ikke bare af, hvordan resultatskærmen er indrettet. Karriere-Elo-ratingen registrerer udfald. PR måler beslutningskvalitet. Niveauet angiver modstanderens niveau. Held beskriver, hvad terningerne bidrog med.

De holdes adskilt, og intet, du kan købe, forbedrer nogen af dem.

Hvordan vi kalibrerede rollebesætningen mod disse tal

Et PR-interval på en side er en påstand. Her er, hvad der er gjort for at underbygge den.

Vi målte mennesker først. Omkring 200.000 beslutninger truffet af cirka 100 rigtige spillere blev analyseret, inklusive alle vores testmatcher, i spændet fra PR 1,7 til PR 15,9, hver sammenlignet med motorens dom. Det er dér, spillemodellens form kommer fra: hvor mennesker begår fejl, hvor ofte, hvor dyre de fejl er, og hvor de næsten aldrig fejler.

I den menneskelige stikprøve udgjorde løb og udtagninger omkring 15 % af trækkene, men under 1 % af den samlede tabte equity. Det mønster har også formet, hvordan vores medlemmer håndterer de stillinger.

Brikspil og håndtering af terningen blev tilpasset hver for sig. De er forskellige færdigheder, og en spiller kan være stærkere i den ene end i den anden. Det, der placerer en karakter på sit niveau, er den samlede pris for dens brik- og terningfejl.

Derefter blev hvert niveau testet ved måling, ikke kun på fornemmelse. Hvert blev kørt gennem 200 partier med friske terninger, bedømt af analytikeren på fuld styrke, før det blev udgivet. Først derefter blev modstanderne spillet i hånden, match efter match, og niveauerne justeret igen ud fra det, de sessioner viste. Et tal kan være rigtigt, mens modstanderen stadig føles forkert.

De to trin arbejder sammen. Tal alene kan give en modstander, der rammer et statistisk mål, men ikke føles overbevisende. Dømmekraft alene giver en påstand, ingen andre kan efterprøve.

Den påstand, vi fremsætter, er specifik: rollebesætningen er målt mod sine tilsigtede niveauer. Vi påstår ikke, at en karakter leverer præcis sin mål-PR i din næste match. Den samme variation, der påvirker din præstation, påvirker deres.

Hvordan modellen fungerer, herunder ufuldkommen evaluering, terningtemperamenter og fraværet af et fejlbudget, forklares på siden Bots og AI.

Dommeren ændrer sig aldrig

Ingen af disse sammenligninger ville betyde meget, hvis analytikeren ændrede sin standard fra én modstander til en anden.

Hvem du end spillede mod, bruger gennemgangen bagefter de samme indstillinger: to-ply-evaluering, ingen tilføjet støj og det samme trækfilter, hver gang.

Analytikeren svækkes aldrig for en Begynder eller styrkes for GG Guru. Begge bedømmes efter den samme standard, og det gør du også.

Det holder sammenligningerne inden for GamesGrid konsistente og lader os kontrollere vores egen kalibrering. Bevæger den målte præstation sig uden for et niveaus mål-interval, giver analysen os en måde at opdage det.

Kontrollér tallene selv

Hver match kan eksporteres som en standard-.mat-fil. Indlæs den i GNU Backgammon, eXtreme Gammon eller et andet kompatibelt analyseprogram, og gennemgå beslutningerne med dine foretrukne indstillinger.

Det vil vi helst have, at du gør. En analyse, du ikke kan undersøge uafhængigt, er en analyse, du skal tage helt på tro. GamesGrid giver dig matchens optegnelse, så du selv kan kigge.

En note om de oprindelige GamesGrid-botter

De botter, der kørte på GamesGrid fra 1996 til 2008, Forever, Raccoon, Beaver, Otter, Weasel, Chipmunk og Tutor, blev gradueret anderledes. En enkelt motor på fuld styrke brugte fremkaldte fejl med en kontrolleret hyppighed til at skabe svagere modstandere.

Det gav en klar rangstige ud fra én underliggende model. Den nye rollebesætning tager en anden tilgang og bruger de målte mønstre i menneskelige fejl til at forme hver modstanders beslutninger.

De oprindelige botters dokumenterede ratings og den arkivbaserede beretning om deres udvikling står på siden om GG-familien.