Rendimiento de bots y jugadores de IA: PR, Elo y suerte explicados

Cuatro números. Cuatro historias distintas

Después de cada partida, GamesGrid te muestra cuatro datos: Level of Play (nivel de juego), PR, Luck (suerte) y tu Career Elo Rating, tu Elo de carrera. Es fácil confundirlos, pero describen cosas distintas, y el que más importa a la mayoría de los jugadores, su rating, no cuenta toda la historia de cómo jugaron.

Esta página explica qué significa cada uno, cómo calibramos a nuestros propios jugadores con ellos y por qué publicamos el método y no solo el resultado.

PR: lo bien que jugaste de verdad

El Performance Rating mide la calidad de tus decisiones, con independencia de si ganaste. La aritmética es sencilla:

Suma la equity que regalaste a lo largo de la partida. Divídela por el número de decisiones que tomaste. Multiplica por 500.

Cuanto más bajo, mejor. Cero significa ningún error según el motor de análisis.

La "equity regalada" es la diferencia entre la jugada que hiciste y la que prefería el motor, medida por su valor esperado. Una jugada que parece fea puede no costar nada. Una jugada tranquila y de aspecto natural puede ser la decisión más cara de la partida. Al PR no le importa cómo se veía.

De esa definición se siguen dos cosas, y las dos importan.

No le importa si ganaste. Puedes ganar jugando mal y perder jugando el mejor backgammon de tu vida. El PR te ayuda a separar el resultado de las decisiones que tomaste.

Es una media por decisión, así que una partida corta dice muy poco. Con diez decisiones fáciles casi cualquiera saca buena nota. Una partida llena de posiciones difíciles te da más ocasiones de equivocarte. Una partida es un dato, no un veredicto. Una imagen estable de tu rendimiento necesita una racha de partidas detrás, y por eso una carrera entera dice más que una sola sesión.

Qué significan los números de la escala

El PR es más útil cuando sabes dónde estás en él. Esta es la escala sobre la que están construidos nuestros propios jugadores, con un objetivo individual asignado a cada personaje dentro de su nivel.

Son las bandas objetivo y los ratings iniciales de los personajes, no resultados garantizados en una partida concreta.

Como orientación fuera de nuestro club, un humano de clase mundial juega en torno a un PR de 3 a 5 a lo largo de un torneo. Conviene tenerlo en cuenta antes de juzgar con demasiada dureza tus primeros resultados.

Hay otra comparación útil en los datos humanos usados para construir el plantel. Un jugador fuerte, en torno a PR 2,3, encuentra la mejor jugada del motor alrededor del 85 % de las veces. Un jugador más débil, en torno a PR 11, lo hace alrededor del 69 % de las veces.

La diferencia son dieciséis puntos porcentuales. El backgammon no es un juego que se domine no equivocándose nunca. Es un juego en el que se mejora equivocándose menos a menudo, y a menor coste.

Career Elo Rating: quién ha estado ganando

Tu Career Elo Rating es el número de tipo Elo que se mueve con tus resultados en el juego con rating. Sube cuando ganas y baja cuando pierdes, y el tamaño del cambio depende del rating de tu rival.

Responde a una pregunta distinta de la del PR: dónde estás en el campo competitivo y a quién intentas alcanzar.

Pero es un registro de resultados, y los resultados en backgammon incluyen la suerte. Una temporada te da una imagen más amplia que una tarde. Ninguno de los dos debe confundirse con una evaluación directa de cada decisión que tomaste.

En GamesGrid, cada personaje empieza con el Career Elo Rating asignado a su nivel, de 1100 para un principiante a 2300 en la cima. A partir de ahí cambia con los resultados, igual que el tuyo.

Luck: el número que acaba con la discusión

Junto a tu PR, la pantalla posterior a la partida muestra la Luck. Para cada tirada, mide la diferencia entre lo que recibiste y lo que habría valido una tirada media en esa posición, y después suma esas diferencias a lo largo de la partida.

Está ahí por una razón. Una vez que la suerte es un número en la pantalla, deja de ser una discusión. Puedes haber recibido una racha de tiradas excelentes y aun así haber jugado mal. Puedes haber sido arrollado mientras tomabas buenas decisiones. Las dos cosas pasan constantemente. Separar la calidad de tu juego de las tiradas que recibiste es donde empieza la mejora.

La Luck se muestra después de cada partida, incluidas las sin rating, porque describe los dados y no tu puesto en la clasificación.

Las cuatro medidas, lado a lado

Estas distinciones son parte de cómo funciona la plataforma, no solo de cómo está organizada la pantalla de resultados. El Career Elo Rating registra resultados. El PR mide la calidad de las decisiones. El Level of Play identifica el nivel del rival. La Luck describe lo que aportaron los dados.

Se mantienen separados, y nada que puedas comprar mejora ninguno de ellos.

Cómo calibramos el plantel con estos números

Una banda de PR en una página es una afirmación. Esto es lo que se hizo para respaldarla.

Primero medimos a las personas. Se analizaron unas 200.000 decisiones tomadas por alrededor de 100 jugadores reales, incluidas todas nuestras partidas de prueba, abarcando de PR 1,7 a PR 15,9, cada una comparada con el veredicto del motor. De ahí sale la forma del modelo de juego: dónde se equivocan los humanos, con qué frecuencia, cuánto cuestan esos errores y dónde rara vez fallan.

En esa muestra humana, las carreras y las salidas de fichas suponían alrededor del 15 % de las jugadas, pero menos del 1 % de la equity total perdida. Ese patrón dio forma también a cómo manejan esas posiciones nuestros miembros.

El juego de fichas y el manejo del cubo se ajustaron por separado. Son habilidades distintas, y un jugador puede ser más fuerte en una que en la otra. Lo que sitúa a un personaje en su nivel es el coste combinado de sus errores de fichas y de cubo.

Después, cada nivel se probó midiendo, no solo por sensaciones. Cada uno pasó por 200 juegos con dados nuevos, evaluados por el analista a plena potencia, antes de salir. Solo después se jugó contra los rivales a mano, partida tras partida, y los niveles se ajustaron de nuevo según lo que revelaron esas sesiones. Un número puede ser correcto y el rival seguir sintiéndose mal.

Esos dos pasos se complementan. Los números por sí solos pueden producir un rival que cumple un objetivo estadístico pero no resulta convincente. El juicio por sí solo produce una afirmación que nadie más puede examinar.

La afirmación que hacemos es concreta: el plantel está medido contra los niveles previstos. No afirmamos que un personaje vaya a producir exactamente su PR objetivo en tu próxima partida. La misma variación que afecta a tu rendimiento afecta al suyo.

Cómo funciona el modelo, incluidas la evaluación imperfecta, los temperamentos de cubo y la ausencia de un presupuesto de errores, se explica en la página de Bots e IA.

El juez nunca cambia

Ninguna de estas comparaciones significaría gran cosa si el analista cambiara su criterio de un rival a otro.

Juegues contra quien juegues, el análisis posterior usa los mismos ajustes: evaluación a dos plies, sin ruido añadido y el mismo filtro de jugadas, siempre.

El analista nunca se debilita para un principiante ni se refuerza para GG Guru. Ambos se evalúan con el mismo criterio, y tú también.

Eso mantiene coherentes las comparaciones dentro de GamesGrid y nos permite comprobar nuestra propia calibración. Si el rendimiento medido se sale de la banda objetivo de un nivel, el análisis nos da una manera de detectarlo.

Comprueba los números tú mismo

Cada partida se puede exportar como archivo .mat estándar. Cárgalo en GNU Backgammon, en eXtreme Gammon o en otro programa de análisis compatible, y revisa las decisiones con los ajustes que prefieras.

Preferimos que lo hagas. Un análisis que no puedes examinar de forma independiente es un análisis que tienes que aceptar por completo a ciegas. GamesGrid te da el registro de la partida para que mires por ti mismo.

Una nota sobre los bots del GamesGrid original

Los bots que funcionaron en GamesGrid de 1996 a 2008, Forever, Raccoon, Beaver, Otter, Weasel, Chipmunk y Tutor, se graduaban de otra manera. Un solo motor a plena potencia introducía errores inducidos con una frecuencia controlada para crear rivales más débiles.

Eso producía una escala clara a partir de un único modelo subyacente. El nuevo plantel sigue otro enfoque: usa los patrones medidos de los errores humanos para dar forma a las decisiones de cada rival.

Los ratings documentados de los bots originales y el relato de su desarrollo basado en los archivos están en la página de la familia GG.