¿Zancadilla a los indies? Steam cambia el sistema de puntuación de usuarios

16 septiembre, 2016 David Martínez da Costa

Valve justifica estos cambios para prevenir manipulaciones
En realidad con esta medida pagan justos por pecadores
Aunque la clave sea legal el análisis ya no tendrá validez

Desde hace unos meses Valve lleva recogiendo feedback entre los usuarios de Steam con el propósito de mejorar su sistema de calificaciones. El cambio que anuncian esta semana es muy importante, significa que los análisis publicados por usuarios que obtuvieron el juego a través de una clave (o cualquier otro medio no relacionado a Steam) ya no va a ponderar.

Ya por el mes de mayo se produce el primer cambio importante, cuando Valve anuncia un nuevo apartado de “calificaciones recientes” que incrementa la visibilidad de las valoraciones recientes (30 días) y ayuda a reflejar la evolución y el estado actual del producto, especialmente importante en el caso de los juegos lanzados en formato de acceso anticipado. Un cambio de justicia y a mejor, aplaudido tanto por los desarrolladores como consumidores de videojuegos, pero nada que ver con el que vamos a relatar a continuación.

EL GRAN CAMBIO EN EL SISTEMA DE CALIFICACIONES

Este lunes Valve anunciaba que las calificaciones de aquellos usuarios que consiguieron un producto a través de una clave ya no van a ponderar en la nota del juego, la principal justificación de esta medida es combatir el uso de críticas fraudulentas y otras estrategias que incrementen la valoración de algunos juegos de forma artificial. En palabras de Valve:

“Un análisis de juegos de Steam muestra que al menos 160 títulos tiene un porcentaje de críticas positivas sustancialmente mayor por usuarios que han activado el producto con una clave, comparado con los usuarios que han comprado el juego directamente en Steam. Estas son, por supuesto, razones legítimas de por qué esto podría ser realista para un juego: algunos juegos tienen mayores audiencias fuerta de Steam, y otros tienen usuarios pioneros apasionados o backers de Kickstasrter que están mucho más involucrados en el juego.

Pero en muchos casos, este abuso es claro y obvio, como críticas duplicadas y/o generadas en grandes lotes o críticas de cuentas relacionadas con el desarrollador. En esos casos, hemos tomado cartas en el asunto al rechazar las críticas falsas y cancelaremos cualquier relación comercial con los desarrolladores que sigan violando nuestras normas.”

CONSECUENCIAS A NIVEL CUANTITATIVO, CUALITATIVO Y CASO PRÁCTICO CON GATO SALVAJE

Si bien no seré yo quien cuestione si las intenciones de Valve son nobles a la hora de combatir el uso de críticas fraudulentas en Steam con esta medida, para un desarrollador las consecuencias más inmediatas que traslada a nivel cuantitativo son las siguientes:

Ya no ponderan las críticas de juegos procedentes de “bundles» como Humble, Indiegala o Bundlestars.
Ya no ponderan las críticas de juegos procedentes de proyectos de crowdfunding como Kickstarter o Verkami.
Ya no ponderan las críticas de tiendas alternativas que admiten claves de Steam como Humble o Green Man Gaming.
Ya no ponderan las críticas procedentes de claves promocionales entregadas por el DEV o Publisher a profesionales de la prensa del videojuego y/o influencers.
Ya no ponderan las claves compradas de forma directa a un DEV o Publisher en su propia tienda.

Aún en el supuesto que la disminución de críticas motivada por esta medida no tuviera un efecto sobre el % de críticas positivas, podría darse el caso que un producto perdiera su valoración de “muy positiva” o “extremadamente positiva” ya que Steam sólo concede estas valoraciones de excelencia a partir de un determinado número de críticas, 50 para obtener la primera y 500 la segunda valoración.

De esta forma, tomando como hipótesis el supuesto anterior donde no se altera el % de críticas positivas: Consideremos un juego con 510 críticas, de las cuales el 95% son positivas; este juego tendría una valoración de “extremadamente positiva”, sin embargo, si después del cambio de Steam perdiera más de 10 críticas (totalizando un número <500) automáticamente su valoración retrocedería a “muy positiva” aunque el nuevo ratio de valoraciones positivas fuera idéntico (95%) al anterior.

Lo que aparentemente podría tratarse de un problema de números es en realidad de importancia capital para el atractivo o la visibilidad (y como consecuencia ventas) de un producto en Steam, entre otros motivos porque subir de rango de valoración ayuda a posicionar los productos en los buscadores de la página, en las ofertas, en las listas de descubrimiento y demás algoritmos que tiene Valve generando un círculo virtuoso de ventas.

A nivel cualitativo, el principal problema de esta medida es que Valve nos habla de eliminar comportamientos fraudulentos pero en realidad lo que consigue es quitarle voz o dejar en “fuera de juego” a las opiniones más cualificadas de muchos juegos indie, usuarios con un altísimo grado de conocimiento del juego que llevan aportando no sólo económicamente sino casi también intelectualmente, dejando su “granito de feedback” desde etapas previas al lanzamiento. Hablo de proyectos que proceden de trabajadísimas campañas de crowdfunding y/o que simplemente no tuvieron un acceso a financiación lo suficientemente bueno como para contratar un PR de nivel, y que este movilizase su juego entre toda la prensa internacional para poder posicionarse frente a sus compradores en potencia y asegurar un buen lanzamiento.

Si bien Valve está en su legítimo derecho, en el sentido que le da el valor que considera a sus claves, con esta medida le dices al usuario que existe un mercado de 1ª y otro de 2ª, y equiparas a la gente que compra claves en G2A, Humble o simplemente la ganan por sorteo en Steamgifts con los backers de Kickstarter y otros programas de crowdfunding.

Al margen de debates y centrándonos en el efecto que ha tenido esta medida sobre la valoración de los juegos, la cuenta twitter de Steamspy acaba de publicar una lista de los 427 videojuegos que han sufrido un mayor impacto en su valoración con la medida de Valve, con un cambio mínimo del 6% en su valoración. Al margen de constatar el fraude y conocer qué juegos han sufrido una mayor alteración de nota es muy interesante ver como más del 25% del total (116 de 427) han sufrido un cambio… a mejor!!!

Los casos de juegos que han subido su valoración probablemente se deba a que gran parte de las críticas que han perdido procedían de ventas en formato “bundle” y/o puntos de venta donde el público target del juego está muy poco cualificado. Dicho de otra forma, en esos puntos de venta la gente compra no tanto porque le interese un juego, sino porque está barato o porque viene en un pack con otro que sí les interesa, eso se traduce en una menor afinidad con el producto y por ende, calificaciones más bajas a la hora de evaluarlo.

El nuestro caso, con los juegos de Gato Salvaje Studio hemos notado los siguientes cambios de valoración:

AR-K: Pérdida >20% de las críticas y subida de las valoraciones de 60% (variadas) a 62% (variadas). AR-K es un producto que ha formado parte de varios Bundles, de ahí el efecto positivo al dejar de ponderar sus notas.

AR-K: LA GRAN EVASIÓN: Pérdida >20% de las críticas y caída de las valoraciones de 98% (muy positiva) a 97% (positiva) ya que el nuevo total es inferior a 50.

BULLSHOT: Pérdida >25% de las críticas y caída de las valoraciones de 80% (muy positiva) a 75% (mayormente positiva).

CONCLUSIONES

Si bien compartimos el diagnóstico, la receta para eliminar opiniones “fraudulentas” presenta lagunas muy importantes, puesto que se lleva por delante a las opiniones más cualificadas de todo Steam, aquellas procedentes de proyectos de Kickstarter y/o de profesionales del videojuego.
El cambio es bueno para Valve, en la medida que posiciona su tienda por encima de los canales de distribución de las claves de Steam.
Es una mala noticia para casi todos los desarrolladores indie, excepto para aquellos que tienen un gran peso porcentual de críticas procedentes de ventas “bundle”, en cuyo caso tienden a mejorar las valoraciones de sus productos.
El cambio es malo para algunos productos incluso aunque no empeore su calificación, en tanto que al perder críticas podría descender su consideración de “muy positiva” a “positiva” o de “extremadamente positiva” a “muy positiva” al no llegar a números clave como 50 o 500 puntuaciones de producto respectivamente.
La medida confirma un secreto a voces, las opiniones procedentes de entornos “bundle” tienen un sesgo negativo… y esto nos lleva a una nueva idea, tal vez no sólo habría que regular los análisis fraudulentos del lado de los DEVs sino también del lado de aquellos jugadores ajenos al producto.
Sería bueno estudiar otras alternativas más justas, como endurecer los requisitos para emitir una crítica: bien sea por tiempo jugado, así eliminaríamos parte del sesgo negativo de usuarios de “bundles” o bien tener un número mínimo de juegos en biblioteca, para evitar el fenómeno de las multicuentas.