Bots en AI-spelers: PR, Elo en geluk uitgelegd

Vier cijfers. Vier verschillende verhalen

Na elke match toont GamesGrid je vier gegevens: speelniveau, PR, Geluk en je carrière-Elo-rating. Ze zijn makkelijk te verwarren, maar ze beschrijven verschillende dingen, en het cijfer waar de meeste spelers om geven, hun rating, vertelt niet het hele verhaal van hoe ze speelden.

Deze pagina legt uit wat elk cijfer betekent, hoe we onze eigen spelers ertegen hebben gekalibreerd, en waarom we de methode publiceren in plaats van alleen het resultaat.

PR: hoe goed je werkelijk speelde

De Performance Rating meet de kwaliteit van je beslissingen, onafhankelijk van of je hebt gewonnen. De rekensom is eenvoudig:

Tel de equity op die je in de match hebt weggegeven. Deel door het aantal beslissingen dat je nam. Vermenigvuldig met 500.

Lager is beter. Nul betekent geen fouten volgens de analyse-engine.

"Weggegeven equity" is het verschil tussen de zet die jij speelde en de zet die de engine verkoos, gemeten naar hun verwachte waarde. Een zet die lelijk lijkt, kan niets kosten. Een rustige, natuurlijk ogende zet kan de duurste beslissing van de match zijn. PR geeft er niet om hoe het eruitzag.

Uit die definitie volgen twee dingen, en beide doen ertoe.

Het geeft er niet om of je hebt gewonnen. Je kunt winnen terwijl je slecht speelt en verliezen terwijl je het beste backgammon van je leven speelt. PR helpt je het resultaat te scheiden van de beslissingen die je nam.

Het is een gemiddelde per beslissing, dus een korte match zegt heel weinig. Tien makkelijke beslissingen en bijna iedereen scoort goed. Een match vol moeilijke posities geeft je meer kansen om de fout in te gaan. Eén match is een meetpunt, geen oordeel. Een stabiel beeld van je prestaties heeft een reeks matches achter zich nodig, en daarom zegt een carrière vol matches je meer dan één sessie.

Wat de cijfers op de schaal betekenen

PR is nuttiger als je weet waar je erop staat. Dit is de ladder waarop onze eigen spelers zijn gebouwd, met voor elk karakter een individueel doel binnen zijn niveau.

Dit zijn de doelbanden en startratings van de karakters, geen gegarandeerde resultaten voor een individuele match.

Ter oriëntatie buiten onze eigen club: een mens van wereldklasse speelt over een toernooi ergens rond PR 3 tot 5. Dat is het waard om in gedachten te houden voordat je je eigen eerste resultaten te hard beoordeelt.

Er is nog een nuttige vergelijking in de menselijke gegevens waarmee de cast is gebouwd. Een sterke speler, rond PR 2,3, vindt de beste zet van de engine ongeveer 85% van de tijd. Een zwakkere speler, rond PR 11, doet dat ongeveer 69% van de tijd.

Het verschil is zestien procentpunten. Backgammon is geen spel dat je beheerst door nooit fout te zitten. Het is een spel waarin je beter wordt door minder vaak fout te zitten, en minder duur.

Carrière-Elo-rating: wie er aan het winnen is

Je carrière-Elo-rating is het Elo-achtige getal dat met je resultaten in gerate partijen beweegt. Het stijgt als je wint en daalt als je verliest, waarbij de grootte van de verandering afhangt van de rating van je tegenstander.

Het beantwoordt een andere vraag dan PR: waar sta je in het competitieve veld, en wie probeer je in te halen?

Maar het is een registratie van uitkomsten, en uitkomsten in backgammon bevatten geluk. Een seizoen geeft je een breder beeld dan een avond. Geen van beide mag worden verward met een directe beoordeling van elke beslissing die je nam.

Bij GamesGrid begint elk karakter op de carrière-Elo-rating die aan zijn niveau is toegewezen, van 1100 voor een Beginner tot 2300 aan de top. Van daaruit verandert hij met de resultaten, net als de jouwe.

Geluk: het cijfer dat de discussie beëindigt

Naast je PR toont het scherm na de match je Geluk. Voor elke worp meet het het verschil tussen wat je kreeg en wat een gemiddelde worp in die positie waard zou zijn geweest, en het telt die verschillen over de match op.

Het staat er om één reden. Zodra geluk een getal op het scherm is, houdt het op een discussie te zijn. Je kunt een reeks uitstekende worpen hebben gekregen en toch slecht hebben gespeeld. Je kunt overrold zijn terwijl je goede beslissingen nam. Beide gebeuren voortdurend. De kwaliteit van je spel scheiden van de worpen die je kreeg, is waar beter worden begint.

Geluk wordt na elke match getoond, ook na ongerate, omdat het de dobbelstenen beschrijft en niet je plek op de ranglijst.

De vier maten naast elkaar

Deze onderscheiden zijn onderdeel van hoe het platform werkt, niet alleen van hoe het resultatenscherm is ingedeeld. De carrière-Elo-rating registreert uitkomsten. PR meet de kwaliteit van beslissingen. Speelniveau benoemt het niveau van de tegenstander. Geluk beschrijft wat de dobbelstenen bijdroegen.

Ze worden gescheiden gehouden, en niets wat je kunt kopen verbetert een van de vier.

Hoe we de cast tegen deze cijfers hebben gekalibreerd

Een PR-band op een pagina is een claim. Dit is wat er is gedaan om die te onderbouwen.

We hebben eerst mensen gemeten. Ongeveer 200.000 beslissingen van ruwweg 100 echte spelers zijn geanalyseerd, inclusief al onze testmatches, van PR 1,7 tot PR 15,9, elk vergeleken met het oordeel van de engine. Daar komt de vorm van het speelmodel vandaan: waar mensen fouten maken, hoe vaak, hoe duur die fouten zijn, en waar ze zelden de fout in gaan.

In die menselijke steekproef waren races en uitspeelfases goed voor ongeveer 15% van de zetten, maar minder dan 1% van de totale verloren equity. Dat patroon bepaalde ook hoe onze leden met die posities omgaan.

Stenenspel en cube-behandeling zijn apart gefit. Het zijn verschillende vaardigheden, en een speler kan in het ene sterker zijn dan in het andere. Wat een karakter op zijn niveau plaatst, zijn de gecombineerde kosten van zijn fouten met de stenen en met de cube.

Daarna is elk niveau getest door meting, niet alleen op gevoel. Elk is door 200 partijen met verse dobbelstenen gehaald, beoordeeld door de analist op volle sterkte, voordat het werd uitgebracht. Pas daarna werden de tegenstanders met de hand gespeeld, match na match, en de niveaus opnieuw bijgesteld op basis van wat die sessies lieten zien. Een getal kan kloppen terwijl de tegenstander nog verkeerd voelt.

Die twee stappen werken samen. Cijfers alleen kunnen een tegenstander opleveren die een statistisch doel haalt maar niet overtuigend voelt. Oordeel alleen levert een claim op die niemand anders kan onderzoeken.

De claim die wij maken is specifiek: de cast is gemeten tegen de beoogde niveaus. We beweren niet dat een karakter in jouw volgende match precies zijn doel-PR zal halen. Dezelfde variatie die jouw prestatie beïnvloedt, beïnvloedt de hunne.

Hoe het model werkt, inclusief imperfecte evaluatie, cube-temperamenten en het ontbreken van een foutenbudget, wordt uitgelegd op de pagina Bots en AI.

De rechter verandert nooit

Geen van deze vergelijkingen zou veel betekenen als de analist zijn norm van de ene tegenstander naar de andere zou veranderen.

Tegen wie je ook speelde, de analyse daarna gebruikt dezelfde instellingen: evaluatie op twee ply, geen toegevoegde ruis en hetzelfde zetfilter, elke keer.

De analist wordt nooit verzwakt voor een Beginner of versterkt voor GG Guru. Beide worden naar dezelfde norm beoordeeld, en jij ook.

Dat houdt vergelijkingen binnen GamesGrid consistent en laat ons onze eigen kalibratie controleren. Beweegt de gemeten prestatie buiten de doelband van een niveau, dan geeft de analyse ons een manier om dat te zien.

Controleer de cijfers zelf

Elke match kan worden geëxporteerd als standaard .mat-bestand. Laad het in GNU Backgammon, eXtreme Gammon of een ander compatibel analyseprogramma, en bekijk de beslissingen met je eigen instellingen.

Dat zien we liever wel dan niet. Een analyse die je niet onafhankelijk kunt onderzoeken, is een analyse die je volledig op vertrouwen moet aannemen. GamesGrid geeft je het matchverslag zodat je zelf kunt kijken.

Een noot over de oorspronkelijke GamesGrid-bots

De bots die van 1996 tot 2008 op GamesGrid draaiden, Forever, Raccoon, Beaver, Otter, Weasel, Chipmunk en Tutor, waren anders ingedeeld. Eén engine op volle sterkte gebruikte opzettelijk ingebouwde fouten met een gecontroleerde frequentie om zwakkere tegenstanders te maken.

Dat leverde een duidelijke ladder op uit één onderliggend model. De nieuwe cast kiest een andere aanpak, en gebruikt de gemeten patronen van menselijke fouten om de beslissingen van elke tegenstander vorm te geven.

De gedocumenteerde ratings van de oorspronkelijke bots en het op het archief gebaseerde verslag van hun ontwikkeling staan op de pagina over de GG-familie.