Prestazioni di bot e giocatori IA: PR, Elo e fortuna spiegati

Quattro numeri. Quattro storie diverse

Dopo ogni match GamesGrid ti mostra quattro informazioni: Level of Play, PR, Luck e il tuo Career Elo Rating della Carriera. È facile confonderle, ma descrivono cose diverse, e quella a cui la maggior parte dei giocatori tiene di più, il proprio rating, non racconta tutta la storia di come hanno giocato.

Questa pagina spiega che cosa significa ciascuna, come abbiamo calibrato i nostri giocatori su di esse e perché pubblichiamo il metodo invece del solo risultato.

PR: quanto bene hai giocato davvero

Il Performance Rating misura la qualità delle tue decisioni, indipendentemente dal fatto che tu abbia vinto. L'aritmetica è semplice:

Somma l'equity che hai regalato nel corso del match. Dividi per il numero di decisioni che hai preso. Moltiplica per 500.

Più basso è, meglio è. Zero significa nessun errore secondo il motore di analisi.

L'«equity regalata» è la differenza tra la mossa che hai giocato e quella che il motore preferiva, misurata in base al loro valore atteso. Una mossa che sembra brutta può non costare nulla. Una giocata tranquilla, dall'aspetto naturale, può essere la decisione più costosa del match. Al PR non interessa che aspetto avesse.

Da questa definizione seguono due cose, ed entrambe contano.

Non gli interessa se hai vinto. Puoi vincere giocando male e perdere giocando il miglior backgammon della tua vita. Il PR ti aiuta a separare il risultato dalle decisioni che hai preso.

È una media per decisione, quindi un match corto dice molto poco. Dieci decisioni facili e quasi chiunque ottiene un buon punteggio. Un match pieno di posizioni difficili ti dà più occasioni di sbagliare. Un match è un dato, non un verdetto. Un quadro stabile delle tue prestazioni ha bisogno di una serie di match alle spalle: per questo una carriera di match ti dice di più di una singola sessione.

Che cosa significano i numeri sulla scala

Il PR è più utile quando sai dove ti collochi. Questa è la scala su cui sono costruiti i nostri giocatori, con un obiettivo individuale assegnato a ogni personaggio all'interno del suo livello.

Queste sono le fasce obiettivo e i rating iniziali dei personaggi, non risultati garantiti per un singolo match.

Per orientarti fuori dal nostro club: un essere umano di classe mondiale gioca intorno a un PR tra 3 e 5 nell'arco di un torneo. Vale la pena tenerlo a mente prima di giudicare troppo severamente i tuoi primi risultati.

C'è un altro confronto utile nei dati umani usati per costruire il cast. Un giocatore forte, intorno a PR 2,3, trova la mossa migliore del motore circa l'85% delle volte. Un giocatore più debole, intorno a PR 11, la trova circa il 69% delle volte.

La differenza è di sedici punti percentuali. Il backgammon non è un gioco che si padroneggia non sbagliando mai. È un gioco in cui si migliora sbagliando meno spesso, e a un costo minore.

Career Elo Rating: chi sta vincendo

Il tuo Career Elo Rating è il numero in stile Elo che si muove con i tuoi risultati nelle partite classificate. Sale quando vinci e scende quando perdi, con una variazione che dipende dal rating del tuo avversario.

Risponde a una domanda diversa da quella del PR: dove ti collochi nel campo competitivo, e chi stai cercando di raggiungere?

Ma è una registrazione di risultati, e i risultati nel backgammon includono la fortuna. Una stagione ti dà un quadro più ampio di una serata. Nessuno dei due va confuso con una valutazione diretta di ogni decisione che hai preso.

Su GamesGrid ogni personaggio parte dal Career Elo Rating assegnato al suo livello, da 1100 per un Principiante a 2300 in vetta. Da lì cambia con i risultati, esattamente come il tuo.

Luck: il numero che chiude la discussione

Accanto al tuo PR, la schermata post-match mostra Luck, la fortuna. Per ogni lancio misura la differenza tra quello che hai ricevuto e quanto sarebbe valso un lancio medio in quella posizione, poi somma queste differenze su tutto il match.

È lì per un solo motivo. Una volta che la fortuna è un numero sullo schermo, smette di essere un argomento di discussione. Puoi aver ricevuto una serie di lanci eccellenti e aver comunque giocato male. Puoi essere stato travolto dai dadi mentre prendevi buone decisioni. Entrambe le cose succedono di continuo. Separare la qualità del tuo gioco dai lanci che hai ricevuto è il punto da cui parte il miglioramento.

Luck viene mostrato dopo ogni match, anche quelli non classificati, perché descrive i dadi e non il tuo posto in classifica.

Le quattro misure, fianco a fianco

Queste distinzioni fanno parte di come funziona la piattaforma, non solo di come è disposta la schermata dei risultati. Il Career Elo Rating registra i risultati. Il PR misura la qualità delle decisioni. Il Level of Play identifica il livello dell'avversario. Luck descrive il contributo dei dadi.

Sono tenuti separati, e niente di ciò che puoi comprare ne migliora uno.

Come abbiamo calibrato il cast su questi numeri

Una fascia di PR su una pagina è un'affermazione. Ecco che cosa è stato fatto per sostenerla.

Abbiamo misurato prima le persone. Sono state analizzate circa 200.000 decisioni prese da circa 100 giocatori reali, compresi tutti i nostri match di prova, da PR 1,7 a PR 15,9, ciascuna confrontata con il verdetto del motore. È da lì che viene la forma del modello di gioco: dove gli umani sbagliano, quanto spesso, quanto costano quegli errori e dove quasi non sbagliano mai.

In quel campione umano, le corse e le uscite rappresentavano circa il 15% delle mosse ma meno dell'1% dell'equity totale persa. Quel pattern ha plasmato anche il modo in cui i nostri membri gestiscono quelle posizioni.

Il gioco delle pedine e la gestione del cubo sono stati modellati separatamente. Sono abilità diverse, e un giocatore può essere più forte in una che nell'altra. Ciò che colloca un personaggio nel suo livello è il costo combinato dei suoi errori di pedine e di cubo.

Poi ogni livello è stato verificato con misurazioni, non solo a sensazione. Ciascuno è stato fatto girare per 200 partite con dadi nuovi, valutate dall'analista a piena forza, prima di uscire. Solo dopo gli avversari sono stati giocati a mano, match dopo match, e i livelli sono stati regolati di nuovo in base a ciò che quelle sessioni hanno rivelato. Un numero può essere giusto mentre l'avversario dà ancora una sensazione sbagliata.

Questi due passaggi lavorano insieme. I numeri da soli possono produrre un avversario che rispetta un obiettivo statistico ma non risulta convincente. Il giudizio da solo produce un'affermazione che nessun altro può esaminare.

L'affermazione che facciamo è precisa: il cast è misurato rispetto ai livelli previsti. Non affermiamo che un personaggio produrrà esattamente il suo PR obiettivo nel tuo prossimo match. La stessa variazione che influenza le tue prestazioni influenza le loro.

Come funziona il modello, compresi la valutazione imperfetta, i temperamenti sul cubo e l'assenza di un budget di errori, è spiegato nella pagina Bot e IA.

Il giudice non cambia mai

Nessuno di questi confronti significherebbe molto se l'analista cambiasse il suo standard da un avversario all'altro.

Chiunque tu abbia affrontato, la revisione successiva usa le stesse impostazioni: valutazione a 2 ply, nessun rumore aggiunto e lo stesso filtro delle mosse, ogni volta.

L'analista non viene mai indebolito per un Principiante né rafforzato per GG Guru. Entrambi sono valutati con lo stesso standard, e così anche tu.

Questo mantiene coerenti i confronti all'interno di GamesGrid e ci permette di controllare la nostra stessa calibrazione. Se le prestazioni misurate escono dalla fascia obiettivo di un livello, l'analisi ci dà un modo per individuarlo.

Controlla tu stesso i numeri

Ogni match può essere esportato come file .mat standard. Caricalo in GNU Backgammon, eXtreme Gammon o un altro programma di analisi compatibile e rivedi le decisioni con le impostazioni che preferisci.

Preferiremmo che lo facessi. Un'analisi che non puoi esaminare in modo indipendente è un'analisi che devi accettare interamente sulla fiducia. GamesGrid ti dà la registrazione del match così puoi guardare con i tuoi occhi.

Una nota sui bot originali di GamesGrid

I bot che giravano su GamesGrid dal 1996 al 2008, Forever, Raccoon, Beaver, Otter, Weasel, Chipmunk e Tutor, erano graduati in modo diverso. Un unico motore a piena forza usava errori indotti a una frequenza controllata per creare avversari più deboli.

Questo produceva una scala chiara a partire da un solo modello sottostante. Il nuovo cast segue un approccio diverso, usando i pattern misurati degli errori umani per dare forma alle decisioni di ogni avversario.

I rating documentati dei bot originali e il resoconto basato sugli archivi del loro sviluppo sono sulla pagina The GG Family.