Botar och AI-spelare: PR, Elo och tur förklarade

Fyra siffror. Fyra olika berättelser

Efter varje match visar GamesGrid dig fyra uppgifter: spelnivå (Level of Play), PR, tur (Luck) och din karriär-Elo (Career Elo Rating). De är lätta att blanda ihop, men de beskriver olika saker, och den som de flesta spelare bryr sig mest om, ratingen, berättar inte hela historien om hur de spelade.

Den här sidan förklarar vad var och en betyder, hur vi kalibrerade våra egna spelare mot dem och varför vi publicerar metoden i stället för bara resultatet.

PR: hur bra du faktiskt spelade

Performance Rating mäter kvaliteten på dina beslut, oberoende av om du vann. Räkningen är enkel:

Lägg ihop den equity du gav bort under matchen. Dela med antalet beslut du fattade. Multiplicera med 500.

Lägre är bättre. Noll betyder inga fel enligt analysmotorn.

"Bortgiven equity" är skillnaden mellan draget du spelade och draget motorn föredrog, mätt i deras väntevärde. Ett drag som ser fult ut kan kosta ingenting. Ett stillsamt, naturligt drag kan vara matchens dyraste beslut. PR bryr sig inte om hur det såg ut.

Två saker följer av den definitionen, och båda spelar roll.

Den bryr sig inte om ifall du vann. Du kan vinna med dåligt spel och förlora med ditt livs bästa backgammon. PR hjälper dig att skilja resultatet från de beslut du fattade.

Den är ett genomsnitt per beslut, så en kort match säger mycket lite. Tio lätta beslut, och nästan vem som helst får bra siffror. En match full av svåra ställningar ger dig fler chanser att göra fel. En match är en datapunkt, inte en dom. En stabil bild av din prestation behöver en rad matcher bakom sig, vilket är skälet till att en karriär av dem säger dig mer än en enskild session.

Vad siffrorna på skalan betyder

PR är mer användbar när du vet var du står på den. Det här är den stege våra egna spelare är byggda på, där varje karaktär har ett individuellt mål inom sin nivå.

Det här är karaktärernas målintervall och startratingar, inte garanterade resultat för en enskild match.

För orientering utanför vår egen klubb spelar en människa i världsklass någonstans kring PR 3 till 5 över en turnering. Det är värt att ha i åtanke innan du dömer dina egna första resultat för hårt.

Det finns en annan användbar jämförelse i de mänskliga data som användes för att bygga ensemblen. En stark spelare, kring PR 2,3, hittar motorns bästa drag ungefär 85 % av gångerna. En svagare spelare, kring PR 11, gör det ungefär 69 % av gångerna.

Skillnaden är sexton procentenheter. Backgammon är inte ett spel du bemästrar genom att aldrig ha fel. Det är ett spel du blir bättre i genom att ha fel mer sällan, och till lägre kostnad.

Karriär-Elo: vem som har vunnit

Din karriär-Elo är det Elo-liknande tal som rör sig med dina resultat i ratat spel. Det stiger när du vinner och faller när du förlorar, och storleken på ändringen beror på din motståndares rating.

Det svarar på en annan fråga än PR: var står du i tävlingsfältet, och vem försöker du komma ikapp?

Men det är ett register över utfall, och utfall i backgammon innehåller tur. En säsong ger dig en bredare bild än en kväll. Inget av dem ska förväxlas med en direkt bedömning av varje beslut du fattade.

På GamesGrid börjar varje karaktär på den karriär-Elo som hör till dess nivå, från 1100 för en Nybörjare till 2300 i toppen. Därifrån ändras den med resultaten, precis som din.

Tur: siffran som avslutar grälet

Bredvid din PR visar skärmen efter matchen Tur. För varje kast mäter den skillnaden mellan vad du fick och vad ett genomsnittligt kast i den ställningen hade varit värt, och lägger sedan ihop de skillnaderna över matchen.

Den finns där av ett enda skäl. När turen är en siffra på skärmen slutar den vara ett argument. Du kan ha fått en rad utmärkta kast och ändå spelat dåligt. Du kan ha blivit överkörd medan du fattade bra beslut. Båda händer hela tiden. Att skilja kvaliteten på ditt spel från de kast du fick är där förbättringen börjar.

Tur visas efter varje match, även oratade, eftersom den beskriver tärningarna snarare än din plats på topplistan.

De fyra måtten, sida vid sida

De här distinktionerna är en del av hur plattformen fungerar, inte bara hur resultatskärmen är ordnad. Karriär-Elo registrerar utfall. PR mäter beslutskvalitet. Spelnivå anger motståndarens nivå. Tur beskriver vad tärningarna bidrog med.

De hålls åtskilda, och inget du kan köpa förbättrar något av dem.

Så kalibrerade vi ensemblen mot de här siffrorna

Ett PR-intervall på en sida är ett påstående. Så här gjorde vi för att belägga det.

Vi mätte människor först. Omkring 200 000 beslut fattade av ungefär 100 riktiga spelare analyserades, inklusive alla våra testmatcher, i spannet PR 1,7 till PR 15,9, vart och ett jämfört med motorns bedömning. Det är därifrån spelmodellens form kommer: var människor gör misstag, hur ofta, hur dyra misstagen är och var de sällan gör fel alls.

I det mänskliga urvalet stod kapplöpningar och utplockningar för omkring 15 % av dragen men mindre än 1 % av den totala förlorade equityn. Det mönstret formade hur våra medlemmar hanterar de ställningarna också.

Brickspel och kubhantering anpassades separat. De är olika färdigheter, och en spelare kan vara starkare i den ena än den andra. Det som placerar en karaktär på sin nivå är den sammanlagda kostnaden för dess brick- och kubfel.

Sedan testades varje nivå genom mätning, inte bara genom känsla. Var och en kördes genom 200 partier med färska tärningar, bedömda av analytikern på full styrka, innan den släpptes. Först därefter spelades motståndarna för hand, match efter match, och nivåerna justerades igen utifrån vad de sessionerna avslöjade. En siffra kan vara rätt medan motståndaren fortfarande känns fel.

De två stegen arbetar tillsammans. Siffror ensamma kan ge en motståndare som når ett statistiskt mål men inte känns övertygande. Omdöme ensamt ger ett påstående som ingen annan kan granska.

Det påstående vi gör är specifikt: ensemblen är mätt mot sina avsedda nivåer. Vi påstår inte att en karaktär kommer att ge exakt sin mål-PR i din nästa match. Samma variation som påverkar din prestation påverkar deras.

Hur modellen fungerar, inklusive ofullständig värdering, kubtemperament och avsaknaden av en felbudget, förklaras på sidan Botar & AI.

Domaren ändras aldrig

Ingen av de här jämförelserna skulle betyda mycket om analytikern ändrade sin standard från en motståndare till en annan.

Vem du än spelade mot använder genomgången efteråt samma inställningar: utvärdering på två plies, inget tillagt brus och samma dragfilter, varje gång.

Analytikern försvagas aldrig för en Nybörjare eller skärps för GG Guru. Båda bedöms efter samma standard, och det gör du också.

Det håller jämförelser inom GamesGrid konsekventa och låter oss kontrollera vår egen kalibrering. Om den uppmätta prestationen rör sig utanför en nivås målintervall ger analysen oss ett sätt att upptäcka det.

Kontrollera siffrorna själv

Varje match kan exporteras som en .mat-fil i standardformat. Ladda in den i GNU Backgammon, eXtreme Gammon eller ett annat kompatibelt analysprogram, och gå igenom besluten med de inställningar du föredrar.

Vi vill helst att du gör det. En analys du inte kan granska oberoende är en analys du måste ta helt på förtroende. GamesGrid ger dig matchprotokollet så att du kan titta själv.

En anmärkning om de ursprungliga GamesGrid-botarna

De botar som kördes på GamesGrid från 1996 till 2008, Forever, Raccoon, Beaver, Otter, Weasel, Chipmunk och Tutor, graderades annorlunda. En enda motor på full styrka använde framkallade fel med kontrollerad frekvens för att skapa svagare motståndare.

Det gav en tydlig stege ur en enda underliggande modell. Den nya ensemblen använder ett annat angreppssätt, där de uppmätta mönstren i mänskliga misstag formar varje motståndares beslut.

De ursprungliga botarnas dokumenterade ratingar och den arkivbaserade redogörelsen för deras utveckling finns på sidan om GG-familjen.