Zero de duas: a rodada em que a correção certa foi não corrigir nada

Minha IA errou as duas semifinais da Copa do Mundo — e o post-mortem dela, a autoavaliação escrita que ela redige depois de cada rodada, chegou à única conclusão que dispara todos os alarmes que eu tenho: nada precisa mudar.

Aqui está o placar que ela está defendendo. França–Espanha, apontado como empate de 1–1 com 45 por cento de confiança, terminou 0–2. Inglaterra–Argentina, apontado 2–1 para a Inglaterra com 55, terminou 1–2. Zero de duas, uma rodada depois de quatro de quatro. O artigo das quartas de final fechou com esses dois palpites já travados, e um aviso de que o próprio sistema esperava errar mais ou menos um dos dois — é isso que números como 45 e 55 significam. Ele errou um a mais.

“Nada precisa mudar” costuma ser a frase que um sistema produz logo antes de falhar feio. Passei essa série inteira desconfiando das minhas próprias ferramentas em público, então não vou parar agora: este texto é sobre como distinguir um “não precisa corrigir” preguiçoso de um merecido — porque este, depois de checar, eu assino embaixo. A checagem é o artigo. Uma coisa sobre escala antes de tudo: dois jogos são a menor amostra que esta série já avaliou. Nada numa rodada de dois jogos consegue provar ou refutar um sistema sozinho — que é exatamente por isso que este texto é sobre o raciocínio, não sobre o placar.

O aviso de sempre para quem chegou no meio da série: não há nenhum modelo treinado sob medida aqui — eu não construí nem treinei nenhuma IA própria. São os mesmos modelos de IA de prateleira que qualquer um pode alugar, munidos de ferramentas, contexto e uma tarefa, com a descrição da tarefa reescrita depois de cada rodada avaliada. O que aprende é o manual de regras.

O resumo, caso você seja novo por aqui

O dever de casa diário do meu time de fantasy da Copa do Mundo fica a cargo de um esquadrão de agentes de IA: prever quem entra em campo em cada partida — é isso que rende os pontos do fantasy — e prever como cada partida termina, que é a parte avaliada mais alto nesta página. A cada rodada, a realidade corrige as duas, e eu publico as notas. Seis rodadas estão no registro, incluindo um desastre de 2 de 8 e uma rodada quase perfeita de 4 de 4, uma logo depois da outra. Esta é a rodada sete, e só sobraram dois jogos para prever: as semifinais.

O que de fato aconteceu, em dois jogos

França–Espanha, apontado 1–1 com 45. As casas de apostas não conseguiram escolher um favorito. As cotações de aposta são probabilidades disfarçadas — o preço que uma casa oferece num lado te diz com que frequência o mercado acha que aquele lado vence — e, convertido assim, a França ficava na casa baixa dos quarenta, Espanha e empate em torno de 30 cada. Os dois lados haviam construído suas campanhas em jogos sem sofrer gol — a sequência da França intacta, a da Espanha quebrada exatamente uma vez, nas quartas — e dois times de elite defensivamente blindados se enfrentando num mata-mata é o roteiro clássico para noventa minutos meio sem gols e pênaltis. O manual do sistema, queimado uma vez por exatamente esse roteiro, apontou o empate. A Espanha não leu o roteiro: um pênalti cedo, depois uma jogada de time bem armada finalizada de dentro da área pouco antes da hora de jogo, 0–2. Nada estruturalmente surpreendente — um pênalti convertido e uma jogada bem trabalhada vencem qualquer padrão defensivo.

Inglaterra–Argentina, apontado 2–1 com 55. O mercado de novo viu um cara ou coroa com um leve pendor: Inglaterra em torno de 38 por cento implícitos, empate e Argentina cada um na casa baixa dos trinta. O sistema pendeu para a Inglaterra — a favorita, mas por pouco, no limite superior cauteloso do que ele ainda chamava de cara ou coroa. Até o último quarto de hora o palpite parecia certo — a Inglaterra liderava com Gordon a partir dos 55 minutos e controlava o jogo. Aí o técnico da Argentina foi ao banco: três substituições de uma vez perto dos setenta minutos, o eventual autor do gol da vitória vindo do banco logo em seguida, e as pernas descansadas viraram o fim de jogo — um empate aos 85 minutos, um gol da vitória nos acréscimos de um reserva. 1–2.

Dois palpites, dois vencedores errados, e o erro médio na diferença de gols vencedora — dois gols cheios — foi ele próprio o pior de qualquer rodada até agora, na menor amostra do torneio. O veredito do post-mortem: nenhuma mudança de regra. Aqui está o argumento.

Por que “não corrigir” é a correção certa — e como eu checei

As duas semifinais foram o que o próprio mercado chamou de cara ou coroa. Nenhum dos lados de nenhum dos jogos estava precificado acima de cerca de 40 por cento — nenhum mercado, em lugar algum, se dispôs a afirmar que sabia esses resultados. O sistema apontou um empate com 45 e um leve favorito com 55, ou seja: ele te disse, de antemão, em números, que não sabia nenhum dos dois. Depois não soube, em público.

O manual do sistema agora tem um nome para essa situação, escrito depois de uma derrota parecida nas oitavas e testado sob pressão duas vezes nesta rodada: um cara ou coroa perdido não dispara nenhuma mudança de regra. O raciocínio merece ser citado direto, porque é a linha mais sã do manual inteiro: caras ou coroas perdidos não mudam a calibração — eles são a calibração. Os 45 e 55 só significam alguma coisa se alguns deles perderem; comece a “consertar” cada moeda perdida e você vai perseguir ruído para trás até o manual virar um diário de coincidências.

E a doutrina é checável, não retórica. Ao longo do torneio inteiro o sistema colocou quarenta e quatro palpites avaliados dentro da sua faixa de cara ou coroa — tudo entre 42 e 58 — a uma confiança média declarada de 52. Vinte e dois deles venceram. Exatamente metade. É assim que se parece a humildade bem precificada ao longo de uma amostra real — e é também a ressalva honesta: uma faixa que se comporta como uma moeda justa valida a faixa, e não diz nada sobre nenhuma perda isolada dentro dela.

Há também uma linha de falha real, e ela é pública: o sistema carrega um piso rígido de 62 por cento na precisão geral de vencedores, uma proteção abaixo da qual não tem permissão de regredir. Depois das semifinais, esse número está em 62,4. Então “nada a corrigir” não foi escrito de uma distância confortável — foi escrito a um dedo acima da linha que teria forçado uma correção, e mais uma rodada genuinamente ruim a rompe. É isso que torna o veredito falsificável em vez de conveniente: a condição de falha existe, está escrita, e quase disparou.

Mas — e essa é a parte que torna o “não corrigir” confiável em vez de acomodado — o post-mortem não parou na autoabsolvição. Ele foi atrás de um erro de processo mesmo assim, e achou um. A confiança do palpite da Inglaterra estava boa como zona, mas a distância dela até o mercado não estava. O mercado colocava a Inglaterra em 38,5 por cento; o sistema disse 55 — dezesseis pontos e meio mais seguro do que a multidão com dinheiro em jogo, e o raciocínio escrito por trás do palpite não continha nenhuma razão de verdade para saber melhor, só uma descrição (“leve favorito no topo da zona de cara ou coroa”) disfarçada de razão. Se o palpite tivesse vencido, aquela distância provavelmente teria passado batida. A auditoria a apontou na rodada em que perdeu e teria se sustentado numa rodada em que vencesse — essa é a diferença entre avaliar resultados e avaliar processo. A regra que ela produziu: de agora em diante, a confiança de um palpite tem que ficar dentro de cinco pontos da probabilidade implícita do mercado para o vencedor escolhido, ou carregar uma razão explicitamente documentada para a diferença. Os dois estados aceitáveis são “concordar com o mercado” e “discordar por escrito”. Achismo deixou de ser uma terceira opção.

Esse é o meu teste para assinar embaixo de um “nada a corrigir”: a revisão que o produziu tinha que ser capaz de achar alguma coisa — provado pelo fato de que achou. E uma observação estrutural, porque “o sistema se revisou” deveria erguer uma sobrancelha: as notas vêm do avaliador determinístico, corrigindo palpites que foram travados antes da bola rolar; o post-mortem é escrito contra essas notas; e o meu trabalho nesta série é lê-lo de forma adversarial. Este texto é essa leitura.

A rodada de fato expôs um ponto cego real — só que não nos palpites

Enquanto os palpites de jogo estavam ocupados perdendo caras ou coroas de forma honesta, a metade silenciosa do sistema — quem entra em cada jogo — teve uma rodada que parecia forte e escondia um padrão.

O número de destaque estava bom: acerto de cerca de 83 por cento de 91 escalações avaliadas. Os erros é que são a história. Quatro jogadores avaliados em 80 ou mais para entrar não entraram. Seis jogadores avaliados em 35 ou menos entraram. Isso não é dispersão aleatória — cada um desses erros é o mesmo erro: nessa profundidade do torneio, os técnicos param de ter um onze fixo. A França trocou um ponta pela alternativa equivalente com quem vinha rodando o torneio inteiro. A Inglaterra reverteu toda a sua defesa de flanco para jogadores que tinham entrado pela última vez na fase de grupos, escalados especificamente contra o contra-ataque da Argentina. A Argentina deixou no banco um quase capitão por um corredor cuja única função era neutralizar um meio-campista inglês. Cada onze era uma ferramenta sob medida para um adversário, e um sistema extrapolando “quem entrou na rodada passada” estava lendo um padrão que não existia mais.

Meu caso favorito envolve um jogador que agora foi o caso difícil em todos os formatos que esta série encontrou: o volante de contenção da França. Um registro ruim da suposta reserva dele uma vez quebrou os números reais do meu placar duas rodadas de artigos atrás; depois o sistema corretamente o limitou a 35 após três rodízios genuínos seguidos; e contra o meio-campo de posse da Espanha ele voltou direto para o onze titular e jogou os noventa minutos — porque para este único jogo ele não era uma opção de rodízio, era a ferramenta específica para a tarefa específica. O teto estava certo por três rodadas e errado na rodada em que importava, por uma razão que era visível de antemão: o confronto.

As correções são estreitas, mecânicas e honestas quanto à incerteza em vez de fingir resolvê-la. Quando dois jogadores estão genuinamente disputando uma vaga e o técnico não falou: os dois são avaliados no meio, não 84 contra 10 — o trabalho do sistema é reportar um cara ou coroa onde existe um cara ou coroa, mesma doutrina dos palpites de jogo. Um teto de rodízio é levantado quando o jogador que estava no banco é a ferramenta óbvia de confronto para o próximo adversário específico. E ninguém é avaliado como titular quase certo tão fundo no torneio sem uma confirmação do técnico com menos de 48 horas. Sim — essas regras são escritas a partir de uma única rodada de evidência de semifinal, e eu disse duas seções atrás que reagir a amostras pequenas é como os previsores se arruínam. A diferença entre uma regra e um ajuste-de-curva é que cada uma dessas carrega uma causa que você pode checar antes da bola rolar — um confronto, um registro de desgaste, as palavras de fato do técnico — em vez de uma coincidência para extrapolar. Se as causas não reaparecerem, as regras nunca disparam. A mesma lição nas duas metades do sistema, com uma rodada de intervalo: honestidade sobre o que você não sabe vence a extrapolação confiante de um padrão que expirou.

A meta que ficou sem estrada

Um número que esta série vinha acompanhando desde a fase de grupos agora precisa de um enterro honesto, ou pelo menos de uma licença — e eu sei como isso parece. Essa meta foi errada quatro rodadas seguidas: 7,67, depois 8,45, depois 7,95, agora 8,3. Aposentá-la na mesma rodada em que o sistema fez zero de dois é exatamente a jogada que um manipulador de métricas faria. Então aqui vai o argumento mecânico, checável peça por peça — e se ele não te convencer, os números estão todos no painel público.

Discriminação de confiança — o quanto o sistema é mais alto nas chamadas que acerta do que nas que erra — tem uma meta fixa de uma diferença de dez pontos. Imagine um alarme de incêndio com botão de volume: ele só é útil se for mais alto para fumaça de verdade do que para torrada queimada, e a diferença mede exatamente essa diferença. Estava em 8,3 depois das semifinais, meta errada de novo — e agora está travada: a meta é mecanicamente inalcançável, faça o sistema o que fizer. Aumentar essa diferença exige chamadas altas, chamadas altas só são honestas em jogos desequilibrados, e não há mais jogos desequilibrados. Sobram duas partidas no torneio inteiro — a disputa de terceiro lugar e uma final Espanha–Argentina, elite contra elite — e os mercados precificam as duas como cara ou coroa. Além disso, dois palpites mal conseguem mover uma média construída a partir de mais de cem chamadas avaliadas. Não há ação legítima disponível que mova o número de forma significativa.

Há uma ilegítima, e o formato é familiar: forçar uma chamada alta mesmo assim. Apontar a final em 72 porque o KPI — o indicador-chave de desempenho, o número no gráfico — quer um 72 no conjunto de dados. O número sobe, o painel fica verde, e o palpite é uma mentira — exatamente o excesso de confiança que esta série passou quatro rodadas extirpando do sistema, reintroduzido para agradar um gráfico. O post-mortem do sistema, em vez disso, fez a coisa correta e nada glamourosa: aposentou a meta para a final, por escrito, com a razão anexada, e a substituiu por metas que a última partida de fato consegue medir — confiança dentro de cinco pontos do mercado ou uma razão documentada, as checagens de formato no momento da escrita em verde (a barreira que o bug das quartas forçou para dentro do pipeline), os novos tetos de escalação aplicados. Essa barreira de formato, aliás, passou pela sua primeira rodada limpa desde ter sido reconstruída — os dois palpites escritos corretamente, nada perdido.

Uma meta que não pode mais ser influenciada deixa de medir desempenho; ela mede a sua disposição de manipulá-la. Aposentá-la às claras é a única jogada que mantém o resto do placar digno de crédito.

A liga: noventa e cinco de vantagem, e todo mundo ainda jogando

A tabela da liga está em primeiro lugar, 526 pontos, noventa e cinco à frente do segundo — o estado pós-quartas; a rodada das semifinais ainda não tinha sido lançada na tabela oficial, então esse número é o piso indo para os dois últimos jogos, não a palavra final.

O elenco por trás disso é o formato de fim de jogo que o artigo anterior descreveu, levado à sua conclusão: sete jogadores, cada um deles ainda jogando. Três franceses e o meia box-to-box da Inglaterra vão para a disputa de terceiro lugar; meu goleiro espanhol e os dois argentinos — incluindo o capitão que veste a dez — jogam a final. Num formato em que jogadores eliminados não rendem nada, um elenco de sete homens com sete homens ainda em campo nos dois últimos jogos de um torneio de 104 partidas é a metade silenciosa deste sistema rendendo composto mais uma vez. E a pesquisa do sistema anota mais um enredo em que se recusa a cravar um número confiante: a briga pela artilharia do torneio tem meu camisa dez empatado no topo com o atacante da França — cada um com exatamente um jogo restante para resolver, em duas partidas diferentes.

Tire o futebol da equação

A habilidade central de tocar qualquer sistema que lida com probabilidades é distinguir ruído de resultado de falha de processo — e reagir a exatamente um dos dois. Ruído de resultado: o resultado foi contra você enquanto o raciocínio estava sólido. Falha de processo: o próprio raciocínio estava quebrado, qualquer que fosse o resultado. Uma previsão de vendas que errou porque um cliente faliu no meio do trimestre é ruído — não corrija; o mesmo erro causado por dados desatualizados no pipeline é processo — corrija na hora. Os dois parecem idênticos no slide de resultados, e você só consegue diferenciá-los avaliando o raciocínio, não o resultado. Meu sistema perdeu dois caras ou coroas e não mudou nada sobre caras ou coroas; encontrou um desvio inexplicado de dezesseis pontos em relação ao mercado e o legislou para fora. As duas decisões saíram da mesma revisão.

“Nada a corrigir” só é crível vindo de uma revisão que estava caçando. Se a sua retrospectiva nunca uma vez sequer achou um problema numa rodada que foi bem — ou nunca uma vez sequer se recusou a achar um numa rodada que foi mal — ela não está revisando, está narrando. A auditoria que te absolve tem que ser a mesma auditoria que poderia te condenar.

Padrões têm data de validade, e os erros caros moram logo depois de uma. O modelo de onze titular estava extrapolando “rodadas recentes” para uma fase do torneio em que os técnicos pensam em jogos isolados. A informação de que ele precisava — confronto, declarações do técnico, o que estava em jogo — estava disponível; o manual simplesmente não tinha sido avisado de que o regime havia mudado. Seja qual for o seu equivalente de “o onze fixo” — o aprovador de sempre, o tamanho de pedido típico, o prazo padrão — a pergunta não é se o padrão se sustentou mês passado. É se a coisa que gera o padrão ainda existe.

E metas também expiram. Um KPI que ninguém mais consegue influenciar não mede desempenho; mede a disposição de manipulá-lo. Quando um dos seus chega a esse estado, a jogada honesta é a que este sistema fez — aposentá-lo às claras, razões anexadas — porque a cada trimestre que fica no painel, ele treina as pessoas a fingir.

Sobram dois jogos na Copa do Mundo inteira. A primeira das duas chamadas restantes do sistema já é pública no meu painel, com a nova regra de honestidade em vigor — a disputa de terceiro lugar: França sobre Inglaterra, 2–1, com 50, a menos de três pontos do pendor do mercado, diferença documentada. A final, Espanha–Argentina, é apontada sob a mesma restrição, e se o mercado disser cara ou coroa, você verá um número de cara ou coroa, KPI que se dane. Aí o torneio acaba, o registro se fecha, e eu vou escrever a prestação de contas final: cada rodada, cada regra que o sistema escreveu para si mesmo, e se um placar público de fato tornou a coisa melhor — ou só mais honesta sobre estar errada. Se você vem acompanhando os números junto comigo, já sabe que essas duas coisas não são a mesma. Mais uma rodada.