El balance final: todo lo que mi IA del Mundial acertó, falló y de verdad se ganó

El Mundial ha terminado. España ganó 1–0 a Argentina en la prórroga — sin goles durante los noventa minutos, resuelto por un suplente que remató el pase de otro suplente — y el último pronóstico del torneo de mi sistema fue victoria de España por un gol, con una confianza declarada del 44 por ciento: 2,3 puntos más optimista con España de lo que estaban las cuotas de las casas de apuestas, y con esa diferencia justificada por escrito, tal y como exigía su última regla. Ganador acertado, diferencia acertada, marcador fallado por lo que mide un gol en la prórroga.

Y la liga fantasy alrededor de la cual se construyó todo este experimento terminó ese mismo día: primer puesto, 654 puntos, 104 por delante del segundo, entre once mánagers.

Esta es la última entrega de la serie, y es la que llevo escribiendo desde el principio: la auditoría completa. Cada ronda evaluada, cada fallo, cada regla que el sistema se escribió a sí mismo, lo que el experimento se ganó de verdad, dónde me hizo perder el tiempo y qué te diría si quisieras aplicar la misma jugada a un problema tuyo. Las entregas anteriores evaluaron el sistema ronda a ronda; esta evalúa el experimento.

Una última repetición de la nota que enmarca todo, formulada de nuevo por última vez: aquí no se construyó ni se entrenó ningún modelo. Alquilé los mismos modelos de IA comerciales que están al alcance de cualquiera, les di herramientas, datos y un encargo, y reescribí ese encargo después de cada ronda evaluada. Ese encargo — un reglamento que el sistema escribió en buena parte sobre sí mismo — resulta ser lo más valioso que produjo el torneo. Más sobre eso al final.

La serie, en un solo sitio

Ocho entregas llevan hasta aquí. Cada una se escribió antes de que se jugara la ronda siguiente, lo que significa que el historial no se puede retocar a posteriori — cada afirmación estuvo en público antes de que la realidad la calificara. Esa era la idea.

• El montaje: un equipo de agentes de IA haciéndome los deberes de mi Mundial fantasy — investigando jugadores, prediciendo quién sale de titular, pronosticando resultados, proponiendo fichajes. Ahí están también las preguntas prácticas: cuánto cuesta mantenerlo en marcha, cómo está montado, qué datos toca.
• Jornada uno: las primeras notas. Fuerte en titularidades, flojo en pronósticos de resultado — 46 por ciento de ganadores.
• Jornada dos: los pronósticos afinaron — 75 por ciento — y expliqué la reconstrucción del sistema de puntuación que hizo fiables las notas.
• Jornada tres: la crisis de confianza en los datos. Descubrí que no podía fiarme de mi registro de quién había jugado realmente, y pasé la ronda limpiando el marcador en vez de celebrarlo.
• Dieciseisavos: la ronda con más marcadores exactos — y el pronóstico más caro del torneo, un favorito al 76 por ciento eliminado en la tanda de penaltis.
• Octavos: la peor ronda — 2 de 8 — desmenuzada en un fallo de formato, una regla de seguridad pasada de frenada y monedas al aire perdidas con toda justicia.
• Cuartos: la mejor ronda — 4 de 4 — casi borrada por un segundo fallo de formato que eliminó en silencio todos los pronósticos de la evaluación.
• Semifinales: 0 de 2 en dos monedas al aire honestas, y la ronda en la que firmé un postmortem que decía “no hace falta cambiar nada”.

Y luego el último fin de semana del torneo: el partido por el tercer puesto — pronosticado Francia 2–1 con un 50, terminó Francia 4–6 Inglaterra, un circo de diez goles en el que ambos entrenadores dieron descanso a media plantilla y el modelo de rotaciones del sistema quedó arrollado — y la final, que el sistema acertó sin hacer ruido.

El marcador, cerrado

Así terminaron el torneo las dos mitades del sistema.

La mitad vistosa — los resultados de los partidos. 103 pronósticos evaluados: 64 ganadores acertados, un 62,1 por ciento. Quince marcadores exactos. El error medio en la diferencia de goles: 1,17 goles. La barrera de seguridad de toda la temporada — la precisión global en ganadores no puede bajar nunca del 62 por ciento — sobrevivió por 0,14 puntos, que es más o menos lo justo que se puede aguantar un suelo sin dejar de aguantarlo.

Y el número que esta serie más persiguió y nunca alcanzó: la discriminación de la confianza. Medida en puntos porcentuales, es la diferencia entre la confianza media del sistema en los pronósticos que acertó y en los que falló — una alarma de incendios debería sonar más fuerte con humo de verdad que con una tostada quemada, y esa diferencia es cuánto más fuerte. El objetivo era una brecha de diez puntos; el torneo cerró en 8,14. Se quedó corto, y el postmortem — la autoevaluación escrita que el sistema redacta después de cada ronda — por fin le puso nombre a la razón estructural en lugar de prometer esforzarse más: según las propias bandas del sistema, 46 de sus 103 pronósticos estaban en la zona de moneda al aire, casi la mitad del torneo, y no hay manera honesta de sonar seguro sobre una moneda al aire.

La mitad silenciosa — quién sale de titular. 984 predicciones de titularidad evaluadas a lo largo del torneo: acertadas en un 81,8 por ciento, y su mejor ronda llegó la última — un 90 por ciento en las cincuenta predicciones evaluadas de la final, después de que entraran en vigor las reglas de alineación para eliminatorias avanzadas de la entrega de semifinales. El número del que estoy sinceramente más orgulloso necesita antes un concepto.

Esta es esa tabla de calibración para el modelo de titularidades, sobre 984 predicciones: cuando el sistema dijo 0–20 por ciento, los jugadores fueron titulares el 12,6 por ciento de las veces. En 20–40, salieron el 24,8 por ciento. En 40–60: 45 por ciento. En 60–80: 67 por ciento. En 80–100: 85,6 por ciento. Cinco bandas, cinco números honestos — alguien que pronostica y cuyos porcentajes significan lo que dicen.

Una revelación que esta auditoría te debe, porque está en el mismo archivo de datos: el hermano pequeño de la predicción de titularidad — si el jugador va a disputar algún minuto, aunque sea desde el banquillo — cerró en un 75,8 por ciento, con una calibración más tosca en las bandas bajas. Las decisiones de fichajes se apoyaban en la predicción de titularidad, que es a la vez la pregunta más afilada y la métrica mejor comportada; pero una auditoría de cierre que solo enseñara su mejor tabla no sería una auditoría.

Lo que salió bien

La mitad silenciosa aportó su parte a la liga — y tengo que ser cuidadoso con lo grande que fue esa parte. Los puntos fantasy vienen de jugadores que juegan de verdad, y un modelo de titularidades acertado cuatro de cada cinco veces, alimentando las decisiones de compra y venta de cada ronda, mantuvo cada hueco de la plantilla apuntando a jugadores que iban a estar sobre el césped — la condición previa sobre la que se sostenían todos los demás puntos. Pero el primer artículo de esta serie plantó una distinción que esta auditoría tiene que respetar: “¿va a estar sobre el césped?” y “¿va a jugar bien?” son preguntas distintas. El sistema evaluaba la primera. Elegir a Messi de entrada — el lado del rendimiento — nunca tuvo una nota pública, y buena parte de esos 654 puntos pertenece a ese criterio sin evaluar y a la simple suerte del torneo. Lo que sí puedo reivindicar es más estrecho y sigue mereciendo la pena: la mitad evaluada se aseguró de que las apuestas sin evaluar estuvieran siempre sobre el campo para poder rendir.

La humildad resultó ser medible. A lo largo de todo el torneo el sistema colocó 46 pronósticos dentro de su banda de moneda al aire — todo lo que quedaba entre 42 y 58 de confianza, con una media de 52. Según el marcador oficial, 22 de ellos ganaron: un 47,8 por ciento, un pelo por debajo del ideal de la moneda al aire. Y el único pronóstico que separa eso de la mitad exacta es uno conocido — la predicción de Portugal de los octavos que llevaba dentro el ganador correcto y sigue contando como fallo por culpa del fallo de formato, según el principio que esta serie se negó a doblar. Hasta el casi acierto pleno de esa banda es honesto. Así es como se ve “no lo sé, y te lo estoy diciendo en números” cuando la realidad lo califica, y se sostuvo desde la fase de grupos hasta la final.

La economía del tramo final funcionó. En un formato fantasy de eliminatorias, una estrella de un equipo eliminado no gana nada y pierde valor cada día. A partir de los octavos convertí la plantilla sin piedad en supervivientes — el sistema recomendaba, yo apretaba el gatillo — selecciones eliminadas vendidas, dinero concentrado, un sobrepago deliberado de cinco millones por minutos garantizados de un semifinalista — hasta que los cinco jugadores que me quedaban estaban sobre el césped en la propia final: tres españoles y dos argentinos. Cada punto que los partidos de cierre le ofrecían a una plantilla de cinco era un punto que la mía estaba colocada para ganar.

El pronóstico final fue el sistema en su mejor versión adulta. España por un gol, 44 por ciento de confianza — 2,3 puntos por encima de la probabilidad implícita en las cuotas. Las cuotas son porcentajes vestidos de otra manera: el precio que ofrece una casa de apuestas se convierte directamente en la frecuencia con la que el mercado cree que gana un equipo, y el precio de España decía en torno a 42. La divergencia quedó documentada bajo la regla escrita después de las semifinales. La lógica de portería a cero clavó los noventa minutos sin goles. Ningún pronóstico estridente forzado para que un panel pareciera valiente. Si me hubieras enseñado ese pronóstico antes de la fase de grupos — anclado al mercado, con la diferencia acotada, con el razonamiento adjunto, con una confianza honesta hasta el decimal — no me habría creído que lo hubiera escrito este sistema.

Evaluar cada ronda por escrito — sabiendo que se iba a publicar — hizo más que cualquier arreglo concreto. No puedo ejecutar el escenario contrafactual de una versión privada de esta serie, así que tómalo como convicción y no como medición: cada ronda que salió con sus fallos adjuntos hizo mejores los deberes de la ronda siguiente. Rendir cuentas no era un extra encima del sistema; era estructural.

Lo que salió mal — el catálogo honesto

Cuatro tipos de errores, en orden creciente de cuánto me enseñaron.

Datos en los que confié y no debí. La crisis de la jornada tres: mi registro de quién había jugado realmente — la verdad de base de la que dependía cada nota — estaba parcialmente equivocado, y llevaba dos rondas calificando contra él. Jugadores anotados como suplentes habían jugado; una lesión se había registrado como rotación. El arreglo fue aburrido y total: cada dato real contrastado con el acta pública del partido, predicciones caducadas excluidas, sanciones contadas. Costó una ronda entera de trabajo y fue la mejor inversión del torneo, porque todos los números posteriores significaban algo.

Fallos de formato en las fronteras. Dos veces se rompió la tubería entre “lo que escribió el predictor” y “lo que leyó el evaluador”. En los octavos, pronósticos escritos en un formato que se contradecía a sí mismo costaron dos ganadores acertados correctamente — y siguen contando como fallo, porque un registro que se contradice a sí mismo está mal, se quisiera decir lo que se quisiera decir. En los cuartos, pronósticos guardados con el tipo de dato equivocado desaparecieron en silencio de la evaluación por completo, y la mejor ronda del sistema dejó de existir durante un rato. Dos fallos distintos, una lección aprendida dos veces: la validación va en el momento de escribir, tiene que comprobar el contenedor además del contenido, y cualquier cosa que lea registros debe fallar a gritos en vez de saltárselos en silencio.

Reglas que se pasaron de frenada, y luego reglas para la pasada de frenada. El favorito al 76 por ciento que cayó en la tanda de penaltis produjo un tope duro de confianza; el tope produjo una ronda en la que todos los pronósticos murmuraban en la misma banda estrecha y una Francia a la que el mercado daba cinco de cada seis se pronosticó como si fuera un cara o cruz. Arreglar el exceso de confianza fabricó falta de confianza. Hicieron falta dos rondas más de ajuste — zonas ancladas a los precios del mercado, un extremo estridente reabierto solo para desajustes de verdad — antes de que la confianza volviera a llevar información dentro. Toda corrección proyecta una sombra con la forma del error contrario, y ahora presupuesto esa sombra desde el principio.

Patrones extrapolados a través de cambios de régimen — tramos en los que las reglas del mundo cambian sin avisar mientras el modelo sigue asumiendo la versión de ayer. El sistema seguía asumiendo que el mundo que había medido era el mundo en el que estaba. Entrenadores que rotaban en la fase de grupos dejaron de rotar en las semifinales — o volvieron a las alineaciones de la fase de grupos justo cuando importaba. El partido por el tercer puesto invirtió todas las suposiciones de seriedad sobre las que se habían construido las reglas de eliminatorias: los dos entrenadores dieron descanso a sus estrellas, la motivación sustituyó a las valoraciones, y un pronóstico de 2–1 se encontró con un 4–6. Y una métrica — el objetivo de discriminación — se siguió persiguiendo mucho después de que la estructura del torneo la hubiera vuelto inalcanzable, hasta que lo honesto fue retirarla en público en lugar de forzar un pronóstico estridente falso para alimentarla. Los patrones caducan. Los fallos caros viven justo después de la fecha de caducidad.

También hay un catálogo de errores sobre los artículos, mantenido por el proceso de revisión que repasó cada entrega antes de publicarla: un pie de foto que afirmaba algo que su captura no mostraba, un gol descrito como lejano que en realidad se remató dentro del área, un “cuatro cambios a la vez” que en realidad eran tres más uno. Cada uno se pilló antes de salir — pero cada uno empezó conmigo fiándome de un resumen en vez de una fuente, que es la misma enfermedad que tenía el sistema, en el autor.

Y una omisión que esta misma auditoría casi repite, y que habría sido el peor tipo de error que puede cometer una auditoría. El subsistema con el que abría el primerísimo artículo — el dosier de inteligencia sobre el comportamiento de puja de mis rivales en la subasta ciega de fichajes — nunca tuvo nota pública. El registro que hay detrás existe: 442 compras rastreadas en la liga, un 85 por ciento de ellas por encima del precio de lista, con una prima mediana de en torno al 18 por ciento. Informó mis pujas en silencio durante todo el torneo. Pero nunca le construí un evaluador, así que nadie, yo incluido, sabe lo bueno que era en realidad. El patrón merece un nombre, porque es la lección más afilada de esta sección: los dos subsistemas que se evaluaron mejoraron sin descanso; el que no se evaluó quedó ignorado en silencio. La evaluación pública atrae el esfuerzo hacia sí. Ese es su poder, y también un sesgo que hay que gestionar.

Lo que se ganó

La respuesta literal: un título de liga fantasy. 654 puntos, 104 por delante del segundo, primer puesto en cada control que esta serie publicó. Mi ventaja sobre el segundo en cada ronda en la que la publiqué: 11 puntos tras la fase de grupos, bajando a 5 tras los dieciseisavos — lo más cerca que estuvo nunca — luego 55, luego 95, y 104 al pitido final. Las eliminatorias son donde se abrió la brecha, porque mi plantilla seguía jugando mientras los jugadores de las otras plantillas se iban a casa. También primero en valor de plantilla al cierre. Lo que eso vale en dinero: nada que merezca mención. Derecho a presumir en una liga de once mánagers — una moneda que acepto encantado.

La respuesta de verdad tiene tres partes.

Un reglamento que sobrevive al torneo. El sistema termina el Mundial con un manual de operación escrito, probado y redactado por él mismo: zonas de confianza atadas a los precios de las apuestas; tratamiento especial para rivales ultradefensivos y piernas cansadas; comprobaciones duras de que un pronóstico está escrito en un formato legible antes de que cuente; topes de alineación para las últimas eliminatorias; una doctrina para perder monedas al aire sin ponerse nervioso; y una regla de honestidad — quedarse a menos de cinco puntos porcentuales del mercado de apuestas, o justificar la diferencia por escrito. Con ropa de empresa, es el documento que debería guardar todo equipo que opera un modelo: cuándo fiarse de él, cuándo pasarle por encima y qué te haría apagarlo. Su propia nota de cierre marca el archivo como conocimiento que se traslada a la temporada de liga doméstica que empieza a continuación. El torneo se acabó; las reglas que pagó, no.

Un conjunto de lecciones de ingeniería que no tenían nada que ver con el fútbol. Prueba la tubería, no el parche. El fallo silencioso es el caro. Dale a cada métrica un día perfecto antes de guiarte por ella — simula tu mejor resultado posible y comprueba hacia dónde se mueve el número. Reacciona a los fallos de proceso, nunca al ruido de los resultados — arregla el razonamiento roto aunque el resultado saliera bien, y deja en paz el razonamiento sólido aunque el resultado doliera. Escribe la línea del fracaso antes de necesitarla — el suelo del 62 por ciento hizo más trabajo disciplinario que ningún objetivo. Retira las métricas muertas en público. Cada una de esas se compró con un error concreto y documentado en alguna de las ocho entregas de arriba.

Un historial. No de acertar, sino de ser comprobable. Ciento tres pronósticos y casi mil predicciones de alineación, todos evaluados contra fuentes, todos publicados antes del hecho, con los fallos sonando más fuerte que los aciertos. He estado en suficientes reuniones donde la calidad de un sistema de IA se afirmaba en vez de demostrarse como para saber lo que vale ese historial.

¿Y sirvió de algo? El veredicto honesto

Divídelo como lo divide el sistema.

La mitad de los pronósticos de partido: disciplina, no ventaja. Un sesenta y dos por ciento de ganadores suena respetable hasta que haces la pregunta incómoda que esta serie te debe: ¿ir simplemente con el favorito del mercado de apuestas habría dado más o menos lo mismo? Para las rondas en las que el precio del mercado está registrado como un número limpio junto a cada pronóstico — de cuartos en adelante, ocho pronósticos — la respuesta es claramente que sí: el sistema discrepó del favorito del mercado exactamente una vez, apostando por el empate frente a una ligera inclinación hacia Francia en la semifinal, y ese pronóstico perdió. Las rondas anteriores llevaban el mercado dentro del razonamiento escrito y no como número limpio, pero el patrón se lee igual ahí: los pronósticos se inclinaban hacia donde se inclinaban las cuotas. Su valor nunca fue una ventaja sobre el mercado. Su valor era comportarse bien: mantenerse calibrado, negarse a la confianza falsa, documentar la divergencia, no perseguir monedas al aire perdidas. Eso vale algo — es lo que impidió que la mitad vistosa quemara nunca la posición en la liga que la mitad silenciosa estaba construyendo — pero yo no contrataría a un sistema así para superar en predicciones a un mercado de apuestas, y esta serie es la prueba de por qué.

La mitad de las titularidades: valor real, por una razón estructural. Ningún mercado público con dinero de verdad cambiando de manos le pone precio a si un jugador de plantilla relevante para Comunio sale de titular en un partido de la fase de grupos — no hay una multitud de profesionales jugándose algo cuya respuesta puedas copiar. La pregunta no tiene precio, tiene muchos datos, se repite y se puede evaluar. Esa es exactamente la forma de problema donde un sistema de IA haciendo deberes a diario sin cansarse se gana el sueldo, y 984 predicciones evaluadas con un 81,8 por ciento y una calibración recta es el aspecto que tiene ganárselo. La regla general que me llevo de esto, y la frase más transferible de la serie: apunta la IA a preguntas a las que nadie le está poniendo precio ya, y evalúalo todo. En una empresa, las preguntas sin precio tienen este aspecto: qué proveedor va a entregar de verdad a tiempo el mes que viene; qué línea de una factura se ha desviado del precio presupuestado; qué máquina va a tener la próxima parada no planificada. Ningún mercado te contesta a eso — tus propios datos sí. Donde ya existe un mercado o un consenso de expertos, el techo honesto suele ser “igualarlo con disciplina”. Donde no existe ninguno, el campo está abierto.

Y por debajo de las dos mitades, la recompensa más silenciosa y duradera del experimento: la propia disciplina de operación — notas públicas, postmortems adversariales, suelos, comprobaciones de calibración — mejoraría la mayoría de los sistemas que he visto por ahí, con o sin IA dentro.

Qué haría distinto, y qué te diría a ti

Si volviera a hacerlo, por orden:

1. Verifica la verdad de base — el registro de lo que pasó realmente — desde el primer día, no desde la ronda en la que se rompe. Calificar contra datos reales sin verificar fue lo más peligroso que hizo el sistema, porque envenenaba en silencio todo lo que venía después.
2. Falla a gritos desde la primera línea de código. Los dos fallos de formato eran sobrevivibles; su silencio es lo que los hizo caros. Un paso de la tubería que se traga una entrada mala y produce un resultado de aspecto más limpio es una bomba de relojería con cara amable.
3. Escribe los suelos y los criterios de apagado antes de la primera predicción. El suelo del 62 por ciento y las líneas de “qué me haría parar” hicieron más por la honestidad que cualquier reflexión posterior, porque se escribieron antes de que nadie supiera si se iban a cumplir.
4. Espera el valor en la mitad aburrida. La capacidad que sonaba impresionante se llevó toda la atención y entregó un rendimiento al nivel del mercado; la que no tenía glamur pagaba cada semana. En una empresa esas mitades también tienen nombre: la mitad vistosa es la demo que impresiona en una reunión; la aburrida es el cuadre de facturas, el seguimiento de las fechas de entrega, la conciliación que nadie graba. Reparte la atención en consecuencia.
5. Deja que el sistema escriba sus propios postmortems — y luego léelos con espíritu adversarial. El reglamento funciona porque es específico y de autoría propia; es fiable porque un humano escéptico solo lo firma después de comprobarlo, y porque dos veces en esta serie la respuesta correcta al postmortem fue rechazarlo.
6. Mantén las muestras humildes. Una ronda de eliminatorias son ocho partidos, luego cuatro, luego dos, luego uno. La mitad de la disciplina de esta serie consistió en pegarle un “y eso significa poco por sí solo” a cada número que lo merecía — incluidos los halagadores.

La última entrada del archivo de lecciones del propio sistema no va de fútbol en absoluto. Marca el reglamento como punto de partida para la temporada de liga doméstica — misma disciplina, misma evaluación pública, una temporada más larga y un mercado de fichajes que funciona todas las semanas del año. El marcador se pone a cero; lo aprendido no. Ese es el intercambio del que iba en silencio todo este experimento: un Mundial a cambio de un conjunto de reglas sobre datos, confianza y honestidad que voy a seguir usando mucho después de que el partido por el tercer puesto esté olvidado. España es campeona del mundo, mi tabla de liga dice 654, y el artefacto más valioso del torneo es un archivo de texto lleno de errores con reglas adjuntas. Volvería a hacer ese intercambio — y si en tu propio trabajo hay una pregunta repetitiva, comprobable y sin precio, puede que sea el mismo intercambio esperándote a ti. Ya sabes dónde encontrarme.