← Blog

EXPLICATIVO · AGENTES

A régua que ninguém aferiu

Ao construir um lote de peças de portfólio no Figma, a auditoria do próprio produtor tinha sempre um ponto cego. A cada rodada, quem verificava de fora encontrava uma classe nova de defeito.

Temas: verificação independente · auditoria de design · agentes de IA

Ler com IA
Claude ChatGPT
Retrato a óleo de um homem de meia-idade, de barrete preto e casaco escuro com gola de pele pintalgada, visto de três quartos contra um fundo verde; ele olha para a esquerda, sério, e segura com as pontas dos dedos uma pequena balança de pratos. Sobre a mesa verde, em primeiro plano, há um montinho de moedas de ouro e uma moeda solta; à esquerda, uma faixa vertical alaranjada.
Adriaen Isenbrant, Homem pesando ouro, c. 1515-20. Óleo sobre madeira. The Metropolitan Museum of Art, Nova York (The Friedsam Collection, Bequest of Michael Friedsam, 1931). Domínio público (CC0), via Met Open Access.

Zero

Em 10 de outubro de 2026, um dos projetos de portfólio que eu estava construindo no Figma voltou do meu executor com a auditoria dele marcando zero problemas. Zero é um número que costuma agradar, e eu aprendi nessa semana a desconfiar dele.

O trabalho era um lote de projetos de design, cada um com seu arquivo, um gerador de base compartilhado e regras fixas de qualidade. Um agente executor produzia as peças, rodava um script de auditoria, corrigia o que o script apontava e entregava. Em paralelo, um agente revisor independente, que não via o raciocínio do executor e recebia só o resultado, lia as telas por conta própria e dizia o que achava.

O que aconteceu, rodada após rodada, foi sempre a mesma coisa. A auditoria do executor passava limpa e o revisor encontrava algo. E o que encontrava nunca era uma repetição do achado anterior: era uma classe nova.

A lista que cresceu

A sequência, na ordem em que apareceu, foi esta. Um recorte (clip) aplicado num elemento ancestral, que escondia o que havia dentro dos filhos. Um quadro vazio dentro de um componente, que ocupava espaço sem mostrar nada. Uma palavra partida em duas linhas, onde a quebra caía no meio do termo. Um elemento que parecia tocável e não reagia ao toque. Um texto desenhado dentro de uma imagem, inacessível para quem usa leitor de tela. E, por fim, um contraste insuficiente em elementos que não são texto, como ícones e bordas, uma exigência da diretriz de acessibilidade que o script nem sabia checar.

Cada item da lista era um defeito real e visível a quem olhava com atenção, e nenhum aparecera no script porque ninguém o havia escrito para procurá-lo. O script era uma régua cujas marcas eu desenhara a partir do que já conhecia. Passava limpo diante de qualquer coisa que ficasse fora dessa lista de marcas, e quem o consultava era levado a concluir que não havia nada fora dela.

O que a régua mede

Uma auditoria automática responde à pergunta “o que o autor do script pensou em verificar?”, e é útil exatamente por isso: barata, repetível, sem cansaço. O erro está em lê-la como resposta a outra pergunta, “o que há de errado aqui?”. A segunda pergunta é aberta e a primeira é fechada, e entre as duas há uma classe inteira de defeitos que só a leitura semântica alcança.

Dizendo de outra maneira, o script não tinha sido aferido contra um defeito real que ele deveria pegar. Uma régua que nunca foi posta ao lado de uma medida conhecida pode ter o primeiro centímetro errado sem que isso se perceba. Antes de confiar na leitura de um instrumento, é preciso saber o que ele diz diante de um caso em que se conhece a resposta.

Foi isso o que o episódio me deixou como regra: um script de auditoria sem prova contra um achado real não é régua. A regra tem uma consequência prática, a de que cada defeito que o verificador independente descobre deve virar um caso de teste do script. O retroativo que ficou aprovado e ainda não iniciado, a checagem de contraste não textual em quatro dos projetos já entregues, era precisamente isso: transformar o achado de ontem em marca da régua de amanhã.

Quem pesa o peso

Adriaen Isenbrant pintou, por volta de 1515, um homem a pesar ouro.1 O retrato é de busto, contra um fundo verde. O homem usa um barrete preto e um casaco escuro com gola de pele pintalgada; olha para a esquerda, sério, e segura com as pontas dos dedos uma balança de pratos tão pequena que quase se perde nas mãos. Sobre a mesa à frente, as moedas de ouro estão empilhadas num montinho, com uma delas solta, e no canto esquerdo uma faixa alaranjada fecha a composição.

Tudo na pintura depende de uma confiança. O homem pesa o ouro, e quem lhe entrega as moedas aceita o resultado porque aceita a balança. A balança, por sua vez, vale pelos pesos que traz, e os pesos valem pela instituição que os aferiu. Cada elo remete ao seguinte, e na ponta da cadeia há um peso-padrão que alguém, um dia, comparou com outro.

O quadro pergunta, sem que o homem se mexa, quem pesou o peso. E é a pergunta que o produtor de qualquer coisa esquece de fazer sobre as suas próprias ferramentas de conferência. A cara séria dele não é a de quem tem dúvida. É a de quem confia no instrumento porque confia na cadeia, e a cadeia, no meu caso, tinha um elo que eu mesmo tinha forjado.

O verificador precisa ser outro

Há um limite no que se consegue consertar com mais regras. Se eu escrevesse, a cada rodada, o item que faltava na lista, o script ficaria cada vez melhor e continuaria incapaz de descobrir a próxima classe de defeito, porque descobrir é uma atividade que depende de não saber o que se procura. Quem faz isso bem é quem lê sem as minhas premissas.

Um verificador vale pelo que enxerga e o produtor não, e não pelo que repete do que o produtor já sabia.

A independência tinha uma forma concreta, no desenho do processo: o revisor recebia o resultado sem o raciocínio de quem o produziu. Quando recebia junto a explicação do executor, tendia a concordar com ela, e a classe nova de defeito sumia.

Houve, no mesmo lote, um projeto que ficou sem essa leitura, porque eu mandei parar a fase de revisão. A auditoria do executor nele deu zero, e o texto do relatório diz isso mesmo. Não digo que o projeto esteja errado, e não sei. Digo que o zero dele vale menos do que o zero dos que passaram pela leitura de fora, e que a revisão desse projeto continua pendente.

O que não sei

Não tenho uma medida do quanto o verificador custou em tempo, e a conta de tokens da sessão não foi feita, porque o script de métricas falhou na ocasião. Tenho só uma estimativa, de ordem de grandeza, para a soma dos agentes envolvidos. Também não sei se a lista de classes de defeito se esgotou. A sequência que descrevi é a que apareceu até aqui, e a experiência sugere que haverá uma sétima.

O que sei é que a ferramenta mais confiável do processo foi a que eu não tinha escrito, e a menos confiável foi a que eu tinha escrito com mais cuidado. Faz sentido: o cuidado concentra-se no que se imagina, e o defeito costuma morar em outro lugar.

O homem de Isenbrant segura a balança com as pontas dos dedos, e ouro nenhum chega ao prato sem que alguém tenha aferido o peso. A mim coube aprender, aos poucos, a mesma disciplina, que é pôr a minha régua ao lado de uma medida que não é minha.


  1. Adriaen Isenbrant, Man Weighing Gold (Homem pesando ouro), c. 1515-20. Óleo sobre madeira, 50,8 x 30,5 cm, com tiras acrescentadas de 4,5 cm em cada lado. The Metropolitan Museum of Art, Nova York, The Friedsam Collection, Bequest of Michael Friedsam, 1931 (32.100.36). ↩

Gostou? Receba o próximo por e-mail.

Um texto quando houver algo que valha ler. Sem sequência de venda.

Mais textos

DADOS MEUS · AGENTES

Três votos iguais

Para classificar 252 conversas, pus três modelos para votar e confiei no consenso. O erro que sobrou teve os três votos, e foi o que me ensinou o que concordância não prova.

·6 min de leitura
IDEIAS E PROJETOS · AGENTES

O sim que não atravessa

Num deploy urgente, um agente executor recusou subir a mudança porque a autorização do dono chegou a ele de segunda mão. Ele estava certo, e o episódio mostrou onde a autorização de verdade mora.

·6 min de leitura
DADOS MEUS · DESEMPENHO

Quatro mil e trezentas conversas por clique

A caixa de entrada do meu CRM demorava a abrir e todo mundo, eu inclusive, apontou para o banco de dados. O banco estava bem. Quem decidia carregar tudo era a tela.

·6 min de leitura