O balanço final: tudo o que minha IA da Copa acertou, errou e realmente conquistou

A Copa do Mundo acabou. A Espanha venceu a Argentina por 1–0 na prorrogação — sem gols nos noventa minutos, decidida por um reserva finalizando o passe de outro reserva — e o último palpite do meu sistema no torneio foi Espanha por um gol, com uma confiança declarada de 44 por cento: 2,3 pontos mais otimista com a Espanha do que as odds das casas de apostas, com essa diferença justificada por escrito, do jeito que a regra final dele exigia. Vencedor certo, saldo certo, placar errado pela largura de um gol na prorrogação.

E a liga de fantasy em torno da qual todo esse experimento foi construído terminou no mesmo dia: primeiro lugar, 654 pontos, 104 à frente do segundo, entre onze mánagers.

Este é o último texto da série, e é o que eu vinha perseguindo desde o começo: a auditoria completa. Cada rodada avaliada, cada bug, cada regra que o sistema escreveu sozinho, o que o experimento realmente conquistou, onde ele desperdiçou meu tempo e o que eu te diria se você quisesse rodar a mesma jogada em um problema seu. Os textos anteriores avaliaram o sistema rodada a rodada; este aqui avalia o experimento.

Uma última repetição da observação que enquadra tudo, escrita de um jeito novo pela última vez: nenhum modelo foi construído ou treinado aqui. Eu aluguei os mesmos modelos de IA de prateleira que estão disponíveis para qualquer pessoa, dei a eles ferramentas, dados e um trabalho, e reescrevi a descrição do trabalho depois de cada rodada avaliada. Essa descrição do trabalho — um manual de regras que o sistema em boa parte escreveu sobre si mesmo — acabou sendo a coisa mais valiosa que o torneio produziu. Falo mais sobre isso no fim.

A série, tudo num lugar só

Oito textos levaram até aqui. Cada um foi escrito antes de a rodada seguinte ser jogada, o que significa que o histórico não pode ser ajustado depois — cada afirmação ficou pública antes de a realidade dar a nota. Esse era o ponto.

• A montagem: um time de agentes de IA fazendo minha lição de casa do fantasy da Copa — pesquisando jogadores, prevendo quem começa jogando, palpitando resultados, propondo transferências. É lá também que estão as perguntas práticas: quanto custa rodar isso, como está tudo ligado, quais dados ele toca.
• Primeira rodada: as primeiras notas. Forte em quem começa jogando, fraco nos palpites de resultado — 46 por cento de vencedores.
• Segunda rodada: os palpites ficaram afiados — 75 por cento — e expliquei a reconstrução do sistema de pontuação que tornou as notas confiáveis.
• Terceira rodada: a crise de confiança nos dados. Descobri que não podia confiar no meu registro de quem tinha de fato jogado, e passei a rodada esfregando o placar em vez de comemorá-lo.
• 16-avos de final: a rodada com mais placares exatos — e o palpite isolado mais caro do torneio, um favorito de 76 por cento eliminado nos pênaltis.
• Oitavas de final: a pior rodada — 2 de 8 — destrinchada em um bug de formato, uma regra de segurança corrigida em excesso e caras-ou-coroas perdidos com justiça.
• Quartas de final: a melhor rodada — 4 de 4 — quase apagada por um segundo bug de formato que descartou silenciosamente todos os palpites da avaliação.
• Semifinais: 0 de 2 em dois caras-ou-coroas honestos, e a rodada em que endossei um postmortem que dizia “nada precisa mudar”.

Depois veio o fim de semana final do torneio: a disputa de terceiro lugar — palpite de França 2–1 com 50 de confiança, terminou França 4–6 Inglaterra, um circo de dez gols em que os dois técnicos pouparam metade dos times e o modelo de rodízio do sistema foi atropelado — e a final, que o sistema acertou de forma discreta.

O placar, encerrado

As duas metades do sistema terminaram o torneio assim.

A metade vistosa — os resultados das partidas. 103 palpites avaliados: 64 vencedores acertados, 62,1 por cento. Quinze placares exatos. O erro médio no saldo de gols: 1,17 gol. O limite de segurança de toda a temporada — a precisão geral de vencedores nunca pode cair abaixo de 62 por cento — sobreviveu por 0,14 ponto, que é mais ou menos o mais raspando que dá para segurar um piso e ainda assim segurá-lo.

E o número que esta série mais perseguiu e nunca alcançou: a discriminação de confiança. Medida em pontos percentuais, é a diferença entre a confiança média do sistema nos palpites que acertou e nos que errou — um alarme de incêndio deveria tocar mais alto para fumaça de verdade do que para torrada queimada, e essa diferença é o quanto mais alto. A meta era uma diferença de dez pontos; o torneio fechou em 8,14. Ficou curto, e o postmortem — a autoavaliação escrita que o sistema arquiva depois de cada rodada — finalmente nomeou a razão estrutural em vez de prometer se esforçar mais: pela própria faixa de classificação do sistema, 46 dos seus 103 palpites ficaram na zona de cara-ou-coroa, quase metade do torneio, e não existe jeito honesto de soar confiante sobre um cara-ou-coroa.

A metade silenciosa — quem começa jogando. 984 palpites de escalação avaliados ao longo do torneio: certos em 81,8 por cento, e a melhor rodada dele veio por último — 90 por cento nos cinquenta palpites de escalação avaliados da final, depois que as regras de escalação para mata-mata avançado do texto da semifinal entraram em vigor. O número do qual eu tenho mais orgulho de verdade precisa de um conceito antes.

Aqui está essa tabela para o modelo de quem começa jogando, ao longo de 984 palpites: quando o sistema dizia 0–20 por cento, os jogadores começaram jogando 12,6 por cento das vezes. Em 20–40, começaram 24,8 por cento. Em 40–60: 45 por cento. Em 60–80: 67 por cento. Em 80–100: 85,6 por cento. Cinco faixas, cinco números honestos — um previsor cujos percentuais significam exatamente o que dizem.

Uma revelação que esta auditoria te deve, porque está no mesmo arquivo de dados: o irmão mais fraco do palpite de escalação — este jogador vai entrar em campo em algum momento, incluindo saindo do banco — fechou em 75,8 por cento, com uma calibração mais tosca nas faixas baixas. As decisões de transferência se apoiavam no palpite de quem começa jogando, que é ao mesmo tempo a pergunta mais afiada e a métrica mais bem comportada; mas uma auditoria de encerramento que mostrasse só a sua melhor tabela não seria uma auditoria.

O que deu certo

A metade silenciosa carregou a parte dela na liga — e eu preciso ter cuidado ao dizer quão grande foi essa parte. Os pontos do fantasy vêm de jogadores que de fato jogam, e um modelo de quem começa jogando certo quatro vezes em cinco, alimentando as decisões de compra e venda a cada rodada, manteve cada vaga do elenco apontada para jogadores que realmente estariam em campo — a pré-condição sobre a qual todos os outros pontos se apoiavam. Mas o primeiro artigo desta série plantou uma distinção que esta auditoria precisa honrar: “ele vai estar em campo” e “ele vai jogar bem” são perguntas diferentes. O sistema avaliou a primeira. Escolher o Messi em primeiro lugar — o lado do desempenho — nunca teve um boletim público, e uma boa parte dos 654 pertence a esse julgamento não avaliado e à pura sorte de torneio. O que eu posso reivindicar é mais estreito e ainda assim vale a pena: a metade avaliada garantiu que as apostas não avaliadas estivessem sempre em campo para render.

Humildade acabou sendo mensurável. Ao longo de todo o torneio o sistema colocou 46 palpites dentro da sua faixa de cara-ou-coroa — tudo entre 42 e 58 de confiança, média de 52. Pelo placar oficial, 22 deles venceram: 47,8 por cento, um fio abaixo do ideal do cara-ou-coroa. E o único palpite que separa isso de exatamente metade é um velho conhecido — o palpite de Portugal nas oitavas de final, que tinha o vencedor certo dentro dele e continua avaliado como errado por causa do bug de formato, pelo princípio que esta série se recusou a dobrar. Até o quase-perfeito da faixa é honesto. É assim que “eu não sei, e estou te dizendo isso em números” se parece quando a realidade dá a nota, e isso valeu da fase de grupos até a final.

A economia do fim de jogo funcionou. Em um formato de fantasy de mata-mata, um craque de um time eliminado não rende nada e perde valor todo dia. Das oitavas de final em diante, converti o elenco sem dó em sobreviventes — o sistema recomendava, eu puxava o gatilho — seleções eliminadas vendidas, dinheiro concentrado, um pagamento deliberado de cinco milhões a mais por minutos garantidos de um semifinalista — até que todos os cinco jogadores restantes estivessem em campo na própria final: três espanhóis, dois argentinos. Cada ponto que os jogos finais ofereciam a um elenco de cinco era um ponto que o meu estava posicionado para conquistar.

O palpite da final foi o sistema no seu melhor estado adulto. Espanha por um gol, 44 por cento de confiança — 2,3 pontos acima da probabilidade implícita nas odds das apostas. Odds são percentuais vestidos com outra roupa: o preço que uma casa de apostas oferece se converte diretamente em quantas vezes o mercado acha que um lado vence, e o preço da Espanha dizia cerca de 42. A divergência foi documentada sob a regra escrita depois das semifinais. A lógica de jogo sem sofrer gols acertou os noventa minutos zerados na mosca. Nada de palpite alto forçado para deixar um painel com cara de corajoso. Se você tivesse me mostrado esse palpite antes da fase de grupos — ancorado no mercado, com saldo limitado, raciocínio anexado, confiança honesta até a casa decimal — eu não teria acreditado que esse sistema o escreveu.

Avaliar cada rodada por escrito — sabendo que aquilo seria publicado — fez mais do que qualquer correção isolada. Não consigo rodar o cenário alternativo de uma versão privada desta série, então tome isso como convicção e não como medição: cada rodada que saiu com seus erros anexados deixou a lição de casa da rodada seguinte melhor. Prestar contas não era um bônus em cima do sistema; era estrutural.

O que deu errado — o catálogo honesto

Quatro tipos de erro, em ordem crescente de quanto me ensinaram.

Dados nos quais confiei e não deveria. A crise da terceira rodada: meu registro de quem tinha de fato jogado — a verdade fundamental da qual toda nota dependia — estava parcialmente errado, e eu vinha avaliando em cima dele por duas rodadas. Jogadores registrados como reservas tinham jogado; uma lesão tinha sido registrada como rodízio. A correção foi chata e total: cada resultado real conferido contra o registro público das partidas, previsões desatualizadas excluídas, suspensões contabilizadas. Custou uma rodada inteira de trabalho e foi o melhor investimento do torneio, porque todo número depois disso significava alguma coisa.

Bugs de formato nas bordas. Duas vezes, o cano entre “o que o previsor escreveu” e “o que o avaliador leu” se rompeu. Nas oitavas de final, palpites escritos em um formato que se contradizia custaram dois vencedores acertados corretamente — e continuaram avaliados como errados, porque um registro que se contradiz está errado independentemente do que se quis dizer. Nas quartas de final, palpites armazenados com o tipo de dado errado sumiram silenciosamente da avaliação por completo, e a melhor rodada do sistema por um momento não existiu. Dois bugs diferentes, uma lição aprendida duas vezes: a validação pertence ao ponto da escrita, ela precisa checar o recipiente tanto quanto o conteúdo, e qualquer coisa que leia registros precisa falhar em alto e bom som em vez de pular em silêncio.

Regras que passaram do ponto, e depois regras para o excesso. O favorito de 76 por cento que caiu nos pênaltis produziu um teto rígido de confiança; o teto produziu uma rodada em que todo palpite murmurava na mesma faixa estreita e uma França que o mercado dava como cinco em seis foi palpitada como se fosse cara-ou-coroa. Corrigir o excesso de confiança fabricou falta de confiança. Foram precisas mais duas rodadas de ajuste — zonas ancoradas nos preços de mercado, uma ponta alta reaberta apenas para descompassos genuínos — até a confiança voltar a carregar informação. Toda correção projeta uma sombra com o formato do erro oposto, e agora eu já reservo orçamento para a sombra desde o início.

Padrões extrapolados através de mudanças de regime — trechos em que as regras do mundo mudam silenciosamente enquanto o modelo continua assumindo a versão de ontem dele. O sistema continuou assumindo que o mundo que tinha medido era o mundo em que estava. Técnicos que faziam rodízio na fase de grupos pararam de fazer rodízio nas semifinais — ou voltaram às escalações da fase de grupos exatamente quando isso importava. A disputa de terceiro lugar inverteu todas as premissas de seriedade sobre as quais as regras de mata-mata foram construídas: os dois técnicos pouparam craques, a motivação substituiu as notas técnicas, e um palpite de 2–1 encontrou um placar de 4–6. E uma métrica — a meta de discriminação — continuou sendo perseguida muito depois de a estrutura do torneio a ter tornado inalcançável, até que a atitude honesta foi aposentá-la às claras em vez de forçar um palpite alto falso para alimentá-la. Padrões têm prazo de validade. Os erros caros moram logo depois da data de validade.

Existe também um catálogo de erros sobre os artigos, mantido pelo processo de revisão que checou cada texto antes da publicação: uma legenda que afirmava algo que a captura de tela não mostrava, um gol descrito como de longa distância que na verdade foi finalizado de dentro da área, um “quatro substituições de uma vez” que na verdade eram três mais uma. Cada um foi pego antes de ir ao ar — mas cada um começou comigo confiando em um resumo em vez de uma fonte, que é exatamente a mesma doença que o sistema tinha, só que no autor.

E uma omissão que esta própria auditoria quase repetiu, o que teria sido o pior tipo de erro para uma auditoria cometer. O subsistema com que o primeiríssimo artigo abriu — o dossiê de inteligência sobre o comportamento de lances dos meus rivais no leilão cego de transferências — nunca teve boletim público nenhum. O registro por trás dele existe: 442 compras rastreadas na liga, 85 por cento delas acima do preço de tabela, um prêmio mediano de cerca de 18 por cento. Ele informou meus lances discretamente o torneio inteiro. Mas eu nunca construí um avaliador para ele, então ninguém, inclusive eu, sabe quão bom ele realmente era. O padrão merece ser nomeado, porque é a lição mais afiada desta seção: os dois subsistemas que foram avaliados melhoraram sem parar; o que não foi acabou ignorado em silêncio. A avaliação pública puxa o esforço para si. Esse é o poder dela, e também é um viés a ser administrado.

O que isso conquistou

A resposta literal: um título de liga de fantasy. 654 pontos, 104 à frente do segundo, primeiro lugar em cada ponto de controle que esta série publicou. Minha vantagem sobre o segundo colocado em cada rodada em que publiquei: 11 pontos depois da fase de grupos, caindo para 5 depois dos 16-avos de final — o mais perto que já chegou — depois 55, depois 95, e 104 no apito final. Foi no mata-mata que a coisa se abriu, porque meu elenco continuou jogando enquanto os jogadores dos outros elencos foram para casa. Também primeiro em valor de elenco no encerramento. O que isso vale em dinheiro: nada digno de menção. Direito de se gabar em uma liga de onze mánagers — uma moeda que eu aceito de bom grado.

A resposta de verdade tem três partes.

Um manual de regras que sobrevive ao torneio. O sistema termina a Copa do Mundo com um manual operacional escrito, testado e de autoria própria: zonas de confiança atreladas aos preços das apostas; tratamento especial para adversários ultradefensivos e pernas cansadas; checagens rígidas de que um palpite está escrito em um formato legível antes de valer; tetos de escalação para as fases finais do mata-mata; uma doutrina para perder caras-ou-coroas sem entrar em pânico; e uma regra de honestidade — fique dentro de cinco pontos percentuais do mercado de apostas, ou justifique a diferença por escrito. Traduzido para o mundo corporativo, é o documento que toda equipe que roda um modelo deveria manter: quando confiar nele, quando passar por cima dele e o que faria você desligá-lo. A própria nota de encerramento dele marca o arquivo como conhecimento a ser levado para a temporada nacional que começa em seguida. O torneio acabou; as regras que ele pagou, não.

Um conjunto de lições de engenharia que não tinha nada a ver com futebol. Teste o pipeline, não o remendo. A falha silenciosa é a cara. Dê a toda métrica um dia perfeito antes de se guiar por ela — simule o seu melhor resultado possível e veja para que lado o número anda. Reaja a falhas de processo, nunca ao ruído do resultado — conserte o raciocínio quebrado mesmo quando o resultado foi bom, e deixe em paz o raciocínio sólido mesmo quando o resultado doeu. Escreva a linha de fracasso antes de precisar dela — o piso de 62 por cento fez mais trabalho disciplinar do que qualquer meta jamais fez. Aposente métricas mortas em público. Cada uma dessas foi comprada com um erro específico e documentado em algum lugar dos oito textos acima.

Um histórico. Não de estar certo — de ser verificável. Cento e três palpites e quase mil palpites de escalação, todos avaliados contra fontes, todos publicados antes do fato, os erros mais altos que os acertos. Já sentei em reuniões suficientes em que a qualidade de um sistema de IA foi afirmada em vez de demonstrada para saber quanto vale esse histórico.

Então, foi útil? O veredito honesto

Divida do jeito que o sistema se divide.

A metade dos palpites de resultado: disciplina, não vantagem. Sessenta e dois por cento de vencedores soa respeitável até você fazer a pergunta desconfortável que esta série te deve: será que simplesmente ficar do lado do favorito do mercado de apostas teria dado mais ou menos o mesmo resultado? Para as rodadas em que o preço do mercado aparece registrado como um número limpo ao lado de cada palpite — das quartas de final em diante, oito palpites — a resposta é claramente sim: o sistema discordou do favorito do mercado exatamente uma vez, apostando em um empate contra uma leve inclinação pela França na semifinal, e esse palpite perdeu. As rodadas anteriores carregavam o mercado dentro do raciocínio escrito em vez de como um número limpo, mas o padrão se lê igual ali: os palpites pendiam para onde as odds pendiam. O valor dele nunca foi uma vantagem sobre o mercado. O valor dele era se comportar bem: manter-se calibrado, recusar confiança falsa, documentar divergências, não correr atrás de caras-ou-coroas perdidos. Isso vale alguma coisa — foi o que impediu a metade vistosa de algum dia incendiar a posição na liga que a metade silenciosa estava construindo — mas eu não contrataria um sistema como esse para superar um mercado de apostas nas previsões, e esta série é a prova do porquê.

A metade de quem começa jogando: valor genuíno, por uma razão estrutural. Nenhum mercado público com dinheiro de verdade trocando de mãos precifica se um jogador de elenco relevante para o Comunio vai começar jogando uma partida da fase de grupos — nenhuma multidão de profissionais com a pele em jogo cuja resposta você possa copiar. A pergunta não é precificada, é rica em dados, repetível e avaliável. É exatamente esse o formato de problema em que um sistema de IA fazendo lição de casa diária e incansável se paga, e 984 palpites avaliados com 81,8 por cento e calibração reta é a cara de quem se pagou. A regra geral que eu tiro disso, e a frase mais transferível da série: aponte a IA para perguntas que ninguém já está precificando, e avalie tudo. Dentro de uma empresa, as perguntas não precificadas se parecem com estas: qual fornecedor vai de fato entregar no prazo no mês que vem; qual linha de fatura se desviou do preço cotado; qual máquina vai ter a próxima parada não planejada. Nenhum mercado responde essas para você — os seus próprios dados respondem. Onde um mercado ou um consenso de especialistas já existe, o teto honesto costuma ser “empatar com ele, com disciplina”. Onde não existe nenhum, o campo está aberto.

E por baixo das duas metades, o retorno mais silencioso e mais duradouro do experimento: a própria disciplina operacional — notas públicas, postmortems adversariais, pisos, checagens de calibração — melhoraria a maioria dos sistemas que eu já vi por aí, com ou sem qualquer IA dentro deles.

O que eu faria diferente, e o que eu te diria

Se eu rodasse isso de novo, nesta ordem:

1. Verifique a verdade fundamental — o registro do que de fato aconteceu — desde o primeiro dia, não a partir da rodada em que ela quebra. Avaliar contra resultados reais não verificados foi a coisa mais perigosa que o sistema fez, porque envenenou silenciosamente tudo o que vinha depois.
2. Falhe em alto e bom som desde a primeira linha de código. Os dois bugs de formato eram sobrevivíveis; o silêncio deles é o que os tornou caros. Uma etapa de pipeline que engole uma entrada ruim e produz um resultado de aparência mais limpa é uma bomba-relógio com cara simpática.
3. Escreva os pisos e os critérios de desistência antes da primeira previsão. O piso de 62 por cento e as linhas de “o que me faria parar” fizeram mais pela honestidade do que qualquer reflexão posterior, porque foram escritos antes de alguém saber se seriam cumpridos.
4. Espere que o valor esteja na metade chata. A capacidade de nome impressionante atraiu toda a atenção e entregou desempenho de nível de mercado; a sem glamour pagou todas as semanas. Numa empresa, essas metades também têm nome: a metade vistosa é a demo que impressiona numa reunião; a metade chata é a conciliação de faturas, o acompanhamento de prazos de entrega, o fechamento que ninguém filma. Distribua a atenção de acordo.
5. Deixe o sistema escrever os próprios postmortems — e depois leia-os de forma adversarial. O manual de regras funciona porque é específico e de autoria própria; ele é confiável porque um humano cético o endossa só depois de checar, e porque duas vezes nesta série a resposta certa ao postmortem foi recusá-lo.
6. Mantenha as amostras humildes. Uma fase de mata-mata tem oito jogos, depois quatro, depois dois, depois um. Metade da disciplina desta série foi anexar “e isso significa pouco sozinho” a cada número que merecia — inclusive aos elogiosos.

A última entrada no próprio arquivo de lições do sistema não é sobre futebol de jeito nenhum. Ela marca o manual de regras como ponto de partida para a temporada da liga nacional — mesma disciplina, mesma avaliação pública, uma temporada mais longa e um mercado de transferências que roda todas as semanas do ano. O placar zera; o que foi aprendido, não. Essa é a troca sobre a qual este experimento inteiro discretamente tratava: uma Copa do Mundo em troca de um conjunto de regras sobre dados, confiança e honestidade que eu vou usar muito depois de a disputa de terceiro lugar ser esquecida. A Espanha é campeã do mundo, minha tabela da liga diz 654, e o artefato mais valioso do torneio é um arquivo de texto com erros e regras anexadas. Eu faria essa troca de novo — e se houver uma pergunta repetitiva, verificável e não precificada parada no seu próprio trabalho, pode ser a mesma troca esperando por você. Você sabe onde me encontrar.