Performance des bots et joueurs IA : PR, Elo et chance expliqués

Quatre chiffres. Quatre histoires différentes

Après chaque match, GamesGrid te montre quatre informations : le niveau de jeu, le PR, la Chance et ton Career Elo Rating, le classement Elo de ta carrière. Ils sont faciles à confondre, mais ils décrivent des choses différentes, et celui auquel la plupart des joueurs tiennent le plus, leur classement, ne raconte pas toute l'histoire de leur jeu.

Cette page explique ce que chacun signifie, comment nous avons calibré nos propres joueurs par rapport à eux, et pourquoi nous publions la méthode et pas seulement le résultat.

Le PR : à quel point tu as réellement bien joué

Le Performance Rating mesure la qualité de tes décisions, indépendamment du résultat. L'arithmétique est simple :

Additionne l'equity que tu as cédée sur le match. Divise par le nombre de décisions que tu as prises. Multiplie par 500.

Plus c'est bas, mieux c'est. Zéro veut dire aucune erreur selon le moteur d'analyse.

L'« equity cédée » est la différence entre le coup que tu as joué et le coup préféré par le moteur, mesurée par leur valeur espérée. Un coup qui paraît laid peut ne rien coûter. Un coup discret, d'apparence naturelle, peut être la décision la plus chère du match. Le PR se moque de l'apparence.

Deux choses découlent de cette définition, et les deux comptent.

Il se moque de savoir si tu as gagné. Tu peux gagner en jouant mal et perdre en jouant le meilleur backgammon de ta vie. Le PR t'aide à séparer le résultat des décisions que tu as prises.

C'est une moyenne par décision, donc un match court dit très peu. Dix décisions faciles et presque n'importe qui obtient un bon score. Un match plein de positions difficiles te donne plus d'occasions de te tromper. Un match est une donnée, pas un verdict. Une image stable de ta performance demande une série de matchs derrière elle, et c'est pourquoi une carrière de matchs t'en dit plus qu'une seule session.

Ce que signifient les chiffres sur l'échelle

Le PR est plus utile quand tu sais où tu te situes dessus. Voici l'échelle sur laquelle nos propres joueurs sont construits, chaque personnage ayant une cible individuelle à l'intérieur de son niveau.

Ce sont les plages cibles et les classements de départ des personnages, pas des résultats garantis pour un match individuel.

Pour te repérer en dehors de notre club, un humain de classe mondiale joue quelque part autour de PR 3 à 5 sur un tournoi. Cela vaut la peine de le garder en tête avant de juger trop durement tes propres premiers résultats.

Il y a une autre comparaison utile dans les données humaines qui ont servi à construire le casting. Un joueur fort, autour de PR 2,3, trouve le meilleur coup du moteur environ 85 % du temps. Un joueur plus faible, autour de PR 11, le trouve environ 69 % du temps.

La différence est de seize points de pourcentage. Le backgammon n'est pas un jeu qu'on maîtrise en n'ayant jamais tort. C'est un jeu où l'on progresse en ayant tort moins souvent, et moins cher.

Le Career Elo Rating : qui gagne

Ton Career Elo Rating est le chiffre de type Elo qui bouge avec tes résultats en jeu classé. Il monte quand tu gagnes et descend quand tu perds, l'ampleur du changement dépendant du classement de ton adversaire.

Il répond à une autre question que le PR : où te situes-tu dans le champ compétitif, et qui essaies-tu de rattraper ?

Mais c'est un registre de résultats, et les résultats au backgammon incluent la chance. Une saison te donne une image plus large qu'une soirée. Aucun des deux ne doit être confondu avec une évaluation directe de chaque décision que tu as prise.

Sur GamesGrid, chaque personnage commence au Career Elo Rating attribué à son niveau, de 1100 pour un Débutant à 2300 au sommet. Ensuite, il évolue avec les résultats, exactement comme le tien.

La chance : le chiffre qui met fin à la dispute

À côté de ton PR, l'écran d'après-match affiche la Chance. Pour chaque tirage, elle mesure la différence entre ce que tu as reçu et ce qu'aurait valu un tirage moyen dans cette position, puis additionne ces différences sur le match.

Elle est là pour une seule raison. Une fois que la chance est un chiffre à l'écran, elle cesse d'être un argument. Tu as peut-être reçu une série d'excellents tirages et quand même mal joué. Tu as peut-être été écrasé par les dés tout en prenant de bonnes décisions. Les deux arrivent sans arrêt. Séparer la qualité de ton jeu des tirages que tu as reçus est là où le progrès commence.

La Chance est affichée après chaque match, y compris les non classés, parce qu'elle décrit les dés et non ta place au classement.

Les quatre mesures, côte à côte

Ces distinctions font partie du fonctionnement de la plateforme, pas seulement de la disposition de l'écran de résultats. Le Career Elo Rating enregistre les résultats. Le PR mesure la qualité des décisions. Le niveau de jeu identifie le niveau de l'adversaire. La Chance décrit ce que les dés ont apporté.

Ils sont tenus séparés, et rien de ce que tu peux acheter n'améliore aucun d'eux.

Comment nous avons calibré le casting sur ces chiffres

Une plage de PR sur une page est une affirmation. Voici ce qui a été fait pour l'étayer.

Nous avons d'abord mesuré des humains. Environ 200 000 décisions prises par une centaine de vrais joueurs ont été analysées, y compris tous nos matchs de test, couvrant PR 1,7 à PR 15,9, chacune comparée au verdict du moteur. C'est de là que vient la forme du modèle de jeu : où les humains se trompent, à quelle fréquence, combien ces erreurs coûtent, et où ils se trompent rarement.

Dans cet échantillon humain, les courses et les sorties représentaient environ 15 % des coups mais moins de 1 % de l'equity totale perdue. Ce schéma a aussi façonné la manière dont nos membres traitent ces positions.

Le jeu des pions et le maniement du videau ont été ajustés séparément. Ce sont des compétences différentes, et un joueur peut être plus fort dans l'une que dans l'autre. Ce qui place un personnage dans son niveau est le coût combiné de ses erreurs de pions et de videau.

Puis chaque niveau a été testé par la mesure, pas seulement au ressenti. Chacun a été passé par 200 parties avec des dés neufs, évaluées par l'analyste à pleine puissance, avant d'être livré. Ce n'est qu'ensuite que les adversaires ont été joués à la main, match après match, et que les niveaux ont été ajustés à nouveau d'après ce que ces sessions ont révélé. Un chiffre peut être juste alors que l'adversaire sonne encore faux.

Ces deux étapes fonctionnent ensemble. Les chiffres seuls peuvent produire un adversaire qui atteint une cible statistique sans être convaincant. Le jugement seul produit une affirmation que personne d'autre ne peut examiner.

L'affirmation que nous faisons est précise : le casting est mesuré par rapport à ses niveaux prévus. Nous ne prétendons pas qu'un personnage produira exactement son PR cible dans ton prochain match. La même variation qui affecte ta performance affecte la leur.

Le fonctionnement du modèle, y compris l'évaluation imparfaite, les tempéraments de videau et l'absence de budget d'erreurs, est expliqué sur la page Bots et IA.

Le juge ne change jamais

Aucune de ces comparaisons ne voudrait dire grand-chose si l'analyste changeait de standard d'un adversaire à l'autre.

Quel que soit ton adversaire, l'analyse qui suit utilise les mêmes réglages : évaluation à deux plis, pas de bruit ajouté, et le même filtre de coups, à chaque fois.

L'analyste n'est jamais affaibli pour un Débutant ni renforcé pour GG Guru. Les deux sont évalués selon le même standard, et toi aussi.

Cela garde les comparaisons cohérentes au sein de GamesGrid et nous permet de vérifier notre propre calibration. Si la performance mesurée sort de la plage cible d'un niveau, l'analyse nous donne un moyen de le repérer.

Vérifie les chiffres toi-même

Chaque match peut être exporté en fichier .mat standard. Charge-le dans GNU Backgammon, eXtreme Gammon ou un autre programme d'analyse compatible, et revois les décisions avec les réglages de ton choix.

Nous préférons que tu le fasses. Une analyse que tu ne peux pas examiner indépendamment est une analyse que tu dois prendre entièrement sur parole. GamesGrid te donne l'enregistrement du match pour que tu puisses regarder par toi-même.

Une note sur les bots du GamesGrid d'origine

Les bots qui tournaient sur GamesGrid de 1996 à 2008, Forever, Raccoon, Beaver, Otter, Weasel, Chipmunk et Tutor, étaient gradués différemment. Un seul moteur à pleine puissance utilisait des erreurs induites à une fréquence contrôlée pour créer des adversaires plus faibles.

Cela produisait une échelle claire à partir d'un seul modèle sous-jacent. Le nouveau casting adopte une autre approche, en utilisant les schémas mesurés des erreurs humaines pour façonner les décisions de chaque adversaire.

Les classements documentés des bots d'origine et le récit de leur développement, fondé sur les archives, sont sur la page de la famille GG.