Eventum aprovecha la Sabiduría de las Multitudes, pero ¿y si la multitud está equivocada?
En los últimos seis meses, miles de usuarios nos han ayudado a probar los diferentes casos de uso de la plataforma Eventum, incluidos: detección de estafa, retroalimentación de AI y recopilación de datos deportivos, en nuestro prototipo: Eventum.Alpha. Esto nos ha permitido examinar los aspectos técnicos de la plataforma, realizar pruebas de estrés, capacidad de carga, jugar con interfaces, solucionar errores e incluso defendernos de los ataques DDoS.
Algunos de los eventos experimentales se ejecutan en Eventum Alpha
Pero quizás el aspecto más interesante de estas pruebas hasta ahora ha sido la capacidad de observar el comportamiento de los humanos (nuestros proveedores de datos) cuando se utilizan diferentes estructuras de recompensas para incentivarlos.
Al principio de nuestro programa de pruebas alfa, nuestro algoritmo de recompensa incentivó fuertemente la velocidad de respuesta. Si era rápido para enviar sus datos y estaba en el consenso, obtendría una mayor parte de la recompensa que aquellos que presentaron las respuestas correctas más lentamente.
Esto funcionó bien para eventos donde los datos requeridos fueron inmediatamente observables, como nuestras noticias falsas o experimentos de productos falsificados. Sin embargo, también significaba que las personas estaban más inclinadas a apresurar sus respuestas con la esperanza de obtener más recompensas en lugar de tomarse su tiempo para asegurarse de que sus respuestas fueran 100% correctas.
Esta situación llegó a un punto crítico durante uno de nuestros eventos de prueba de fútbol de la copa mundial. Se pidió a los usuarios que proporcionaran a Eventum el puntaje de tiempo completo del partido, junto con la cantidad de minutos extra anunciados, después de que se hubieran jugado los primeros 90 minutos.
En Eventum HQ en la hermosa Ljubljana, Eslovenia, vimos el partido, Alemania contra Corea, y nuestra comunidad, con gran interés por ver cómo se comportaría la gente con sus presentaciones de datos.
Liubliana, Eslovenia, sede de la sede de Eventum
¿Esperarían hasta el final del juego para asegurarse de que proporcionaron la puntuación correcta, o jugarían, presentando una predicción arriesgada en lugar de la puntuación final real?
Fue la combinación perfecta para tal prueba porque nadie hubiera predicho que los campeones defensores de la Copa del Mundo, Alemania, serían eliminados por Corea del Sur (un equipo que ni siquiera está en el ranking Top 50 de la FIFA), y ciertamente no por South Corea anotó dos goles en el tiempo extra!
Mundial de Fútbol 2018 – Corea vs. Alemania en Eventum Alpha
Velocidad vs. Exactitud
El inesperado resultado final (Corea del Sur: 2 Alemania: 0) destacó la tendencia de las personas a apostar; Los datos de "puntaje final" que se volverían inexactos debido a los objetivos tardíos, comenzaron a llegar antes de la finalización del partido en tales números, que finalmente no se formó un consenso.
El juego no pagó: no se alcanzó un consenso ni se otorgaron recompensas
Debido a que la estructura de la recompensa incentivó la velocidad, las personas estaban dispuestas a arriesgarse a equivocarse con la esperanza de que la puntuación no cambiara, y estarían entre los proveedores de datos más rápidos, por lo tanto obtendrían una porción más grande del pastel.
Para el segundo partido de esa noche, (Serbia Vs. Brasil), eliminamos por completo el incentivo para la velocidad e implementamos una estructura de recompensa plana, lo que significa que si usted formara parte del grupo de consenso, obtendría la misma recompensa que todos los demás. Sin extras por ser el más rápido.
El cambio en el comportamiento fue aparente al instante; la gran mayoría de las personas esperaron hasta el final del partido y se alcanzó un consenso preciso. Aunque, notablemente, a pesar de que NO hay ningún incentivo para suministrar datos prematuramente, algunas personas siguen apostando, enviando puntajes (incorrectos) y tiempo de detención antes del final del juego, y obteniendo una recompensa cero por sus problemas. Tal vez simplemente no habían leído la nota.
Al eliminar el incentivo para la velocidad, se eliminó la tentación de apostar en la puntuación final.
Sin embargo, cualquier sistema que se base en un elemento humano estará sujeto a cierta imprevisibilidad, y es por eso que ha sido tan interesante para nosotros observar cómo actúan las personas cuando se las incentiva de diferentes maneras.
Como Martin Mikeln, el co-fundador de Eventum explicó a nuestra comunidad de telegramas de 22 mil personas después de las Vs de Alemania. Prueba de corea
"Nuestro prototipo, Eventum Alpha, aún no tiene el mecanismo de disputa y revisión incorporado, y no hay ningún efecto de replanteo o reputación que ponga a todo el sistema en un estado de equilibrio multi-Nash, en lugar de estar en un solo Nash. estado de equilibrio. En otras palabras, es mucho más susceptible a los "juegos de azar". Aunque no muchas personas jugaron al principio del juego, todavía había muchos que votaron unos minutos antes de que terminara el partido, porque no tenían "nada que perder". Y un juego loco como el de esta noche demostró que sin esos mecanismos implementados, no se podría alcanzar un consenso. Los eventos futuros se tomarán en cuenta reputación Puntuación (ya siendo calculado pero aún no implementado), una forma básica de replanteo, y un mecanismo de disputa. ”
Creemos que tanto la precisión como la velocidad serán valoradas por los desarrolladores que utilizan Eventum para recopilar datos, pero es casi seguro que la precisión se valorará más que la velocidad. Continuaremos probando las estructuras de recompensa y, en última instancia, permitiremos a los desarrolladores seleccionar la mejor estructura de recompensa para los datos que necesitan.
Y una vez que nuestra funcionalidad planificada de "reputación" y "replanteo" esté en su lugar, el suministro de datos inexactos será severamente penalizado, eliminando el incentivo para hacerlo, y permitiendo que Evenutm aproveche la sabiduría de las multitudes y evite la locura de las turbas.
Lección aprendida: la multitud es sabia, pero necesita ser incentivada correctamente (foto: Ezra Comeau-Jeffrey en Unsplash)
