Três votos iguais

O problema de 252 conversas

Em 6 de outubro de 2026 eu tinha 252 conversas importadas de um aplicativo para dentro de um arquivo de anotações, e precisava saber de que assunto era cada uma. Como a tarefa era repetitiva e sem consequência grave, entreguei-a ao modelo mais barato que eu tinha, e o resultado serviu para um primeiro susto: 176 das 252 conversas caíram na mesma categoria, a “pessoal”.

Essa categoria era um buraco. Não porque 70% das minhas conversas fossem pessoais, e sim porque o modelo, na dúvida, escolhia o saco maior. O defeito era de calibração e não de capacidade, e a saída óbvia, a que qualquer engenheiro propõe, foi a segunda tentativa: em vez de um votante, três.

O painel

Montei um painel de três modelos baratos, cada um classificando as conversas de forma independente, com a regra de que valeria o consenso. Para saber se o painel prestava, montei um teste com cinco casos e pedi a um modelo maior, que não tinha visto os votos, que decidisse às cegas o que era cada um.

O resultado foi modesto. Em três dos cinco casos, o painel acertou. Em outro, houve empate entre os votos. No último, os três votaram igual e erraram: o rótulo estava errado e a unanimidade era total. Os três haviam se apoiado numa mesma pista fraca, uma palavra que aparecia no começo da conversa e sugeria um assunto que o resto do texto desmentia.

O empate e o erro unânime foram decididos por mim, à mão. O fato que importa, para o ensaio e para a engenharia, é que os dois eram de naturezas opostas. O empate era visível: três votos divididos acendem uma luz, e alguém olha. O erro unânime era invisível, porque o sistema inteiro apontava para um lado, e a unanimidade, que parece a prova de segurança, funcionou como silenciador.

Por que os votos eram iguais

A resposta é quase constrangedora de tão simples. Os três votantes eram o mesmo tipo de modelo, treinados de modo parecido, lendo o mesmo texto, com o mesmo enunciado. Quando três cópias de uma mesma ferramenta leem a mesma frase, não há três opiniões. Há uma opinião contada três vezes.

Concordância só é prova quando os erros são independentes. Três testemunhas que viram o crime de ângulos diferentes, em horários diferentes, valem mais do que uma. Três testemunhas que saíram juntas de uma mesma reunião, ouvindo a mesma explicação, valem uma, ainda que cada uma jure por si. O que sustenta o argumento do consenso é a probabilidade de que cada voto erre sozinho, e essa probabilidade só se multiplica se os erros não vierem do mesmo lugar.

No meu painel, vinham. A pista fraca era de todos, e por isso a seguiram todos. O problema nem estava em algum deles, estava na premissa que compartilhavam e que nenhum tinha motivo para questionar, porque cada um, ao olhar para os outros dois, só via concordância.

A regra que adotei

Em vez de tentar fabricar independência entre modelos parecidos, o que seria um projeto à parte, adotei uma regra de uso. O sistema só grava um rótulo quando os três votos coincidem e nenhum deles registra confiança baixa. Todo o resto, inclusive o caso de unanimidade com insegurança, vai para uma lista de revisão humana.

Isso não resolve o erro unânime como o que caiu no meu teste: se os três votarem igual e sem declarar dúvida, nenhuma regra de votação o pega, porque ele é, por definição, um erro de todos. O que a regra faz é reduzir a escala do estrago e deixar um rastro que permite achar o problema depois. Rótulos gravados são os que o painel sustenta, e os demais ficam num lugar onde os olho.

A rodada completa, em dez lotes, começou à tarde, com um portão depois do primeiro lote: se o primeiro lote saísse ruim, o resto não rodaria. Essa é a única proteção que consigo chamar de independente, porque o portão é uma pessoa, eu, lendo o resultado de fora.

Quem está rindo

William Hogarth gravou, em dezembro de 1733, uma plateia inteira em gargalhada.¹ O ponto de vista é o do palco, de frente para o público. Em baixo, fileiras de rostos de boca aberta e olhos apertados, com perucas, um leque aberto na mão de uma mulher; mais acima, num camarote, um casal conversa, uma cesta ao lado, e à direita outro casal se inclina um para o outro, sem olhar para a cena. Ao pé da imagem, o que parece ser a orquestra, e pontas de ferro na beira do palco, que ninguém nessa plateia parece notar.

O que me interessa na gravura é a pergunta que ela obriga: de que estão rindo? A gravura não mostra o espetáculo. Mostra o público, e todos os rostos apontam para o mesmo lado, que é o nosso. Quem vê só a plateia fica sabendo que algo engraçado aconteceu. Não fica sabendo se foi engraçado de verdade, se foi o riso contagiante de quem acompanha os vizinhos, ou se uma metade riu primeiro e a outra, depois.

O artista nos faz olhar para a plateia, e é a atitude que o consenso dos meus modelos pedia. Três rostos rindo na mesma direção informam sobre a direção. Quanto à piada, não dizem nada. E é nos que não riem, o casal no camarote, que o gravurista deixa a pista de que nem todo o auditório está ouvindo a mesma coisa.

O que fica

Há coisas que a história permite afirmar, e outras que não. Permite afirmar que, nesse teste pequeno, de cinco casos, a unanimidade de três modelos parecidos não garantiu acerto. Não permite concluir que painéis de modelos sempre errem, nem que o erro unânime seja frequente: cinco casos são uma amostra que ilustra, e não que mede.

Três votos iguais são uma prova de que os votantes se parecem, e só sobre isso.

Se o assunto importa, a verificação precisa vir de fora do circuito: de um modelo diferente, de uma regra determinística, de uma pessoa lendo os casos de borda. Se não importa, um modelo só já basta, e o painel é um custo que se paga para parecer rigoroso. No meu caso, o painel valeu pelo que me contou sobre si mesmo, mais do que pelos rótulos.

Hogarth sabia que o riso de uma sala vale pouco como argumento. Ele gravou a plateia, e deixou a piada fora do quadro, de propósito.