O trote

Na feira de cavalos

Rosa Bonheur frequentou o mercado de cavalos do Boulevard de l’Hôpital, em Paris, duas vezes por semana, durante um ano e meio, antes de começar a tela que o Metropolitan guarda desde 1887.¹ Pintou-a de 1852 a 1855, e o que ela mostra é o que o comprador de cavalos ali via: os animais em movimento, conduzidos de um lado a outro, empinando, puxando a rédea, levantando poeira.

Quem compra cavalo não o examina na baia, onde qualquer animal parece sereno. A sabedoria popular diz que a cavalo dado não se olha o dente, e a implicação é que em cavalo pago se olha, e com rigor, o dente, o casco, o andar, o modo de reagir quando alguém levanta a voz. Lembrei dela ao ler o ensaio em que quatro sócios da Andreessen Horowitz, Kimberly Tan, Joe Schmidt, Marc Andrusko e Olivia Moore, explicam a fundadores o que separa uma demonstração de um negócio de IA para empresas.² Escreveram para quem vende, e eu o leio do lado de quem compra, porque as razões que eles dão para a demonstração enganar o fundador são as mesmas que a fazem enganar o cliente.

A baia

Depois do lançamento do ChatGPT, em 2022, repetia-se que todo programa de IA seria commodity, porque não passaria de um invólucro em torno do modelo, e que os modelos, ao melhorar, o engoliriam. Quase três anos depois, dizem os autores, isso não se confirmou. Fazer uma demonstração vistosa ficou simples com as ferramentas de hoje; o difícil, segundo eles, é o último trecho do trabalho de produto, em que o usuário se comporta de maneira imprevisível, os dados do cliente estão sujos e o sucesso depende de tratar a cauda longa de caminhos que uma pessoa pode tomar. O abismo entre a demonstração e o produto é maior com IA do que com o software de antes, por causa dos modelos que mudam o tempo todo e das respostas que não se repetem.

Os autores lembram o caso da Air Canada, cujo robô de atendimento alucinou, como exemplo dos riscos financeiros e de reputação de errar em produção, e acrescentam que em certos domínios a precisão vale mais que tudo, pois “você não consegue fazer vibe coding dos seus demonstrativos contábeis nem dos seus documentos jurídicos”, de modo que o custo do erro cresce onde mais se confia no resultado. A demonstração percorre o caminho feliz, em que o pedido é claro, o dado está completo e a pessoa coopera. O dinheiro que a empresa perde mora nos outros caminhos.

Cem casos

O comprador tem um remédio, que é um teste, e cabe em quatro passos que levam uma semana e dispensam qualquer conhecimento de modelos de linguagem. Os números que dou a seguir são proposta minha para a primeira rodada, e não padrão de mercado.

Para começar, tiram-se dos registros da própria empresa cem casos reais, conversas, chamados, pedidos, com uma composição deliberada: uns setenta típicos, uns vinte difíceis, com ambiguidade, cliente irritado ou dado incompleto, e uns dez dos piores do último ano, os que custaram dinheiro ou reclamação. Depois, escreve-se, antes de rodar qualquer coisa, o que seria uma boa resposta e o que seria inaceitável em cada caso, com o nome de quem assina o critério. Em O preço de tudo contei que só descobri o tamanho do meu erro porque tinha escrito a hipótese antes; o critério de aceite exige a mesma disciplina, e quem o escreve depois de ver a demonstração acaba descrevendo o que viu.

O terceiro passo é pontuar por gravidade, e nunca pela média. Uma resposta que promete ao cliente o que a empresa não oferece, que expõe um dado ou que toma uma ação que não se desfaz é um erro fatal, e um erro fatal reprova o teste inteiro, mesmo que os outros noventa e nove casos saiam bons. Se um atendente corrige o erro em um minuto, ele é grave, mas tolerável em certa dose, e a resposta apenas desajeitada é leve. A contagem é feita numa planilha ou por consulta, e o modelo de linguagem não entra nela.

O quarto é medir o pedido de ajuda. Um sistema que, nos vinte casos difíceis, nunca passa a conversa a uma pessoa merece mais desconfiança do que um que a passa cinco vezes, pois o mundo real tem mais casos sem saída do que qualquer produto costuma admitir.

A demonstração é a tela terminada, composta para ser vista de longe; o teste é o caderno de estudos.

O teste que sobrevive ao modelo

Os autores descrevem como as empresas de IA trabalham por baixo: rodam avaliações rigorosas a cada novo modelo, orquestram sequências de ações entre modelos diferentes e alternam entre eles conforme o desempenho em cada tarefa. O resultado, dizem, é uma experiência de produto robusta que nenhuma chamada única de API consegue entregar. Para quem compra, o que isso significa é que aquilo que roda debaixo do produto muda com o tempo, sem que a tela mude, e que o teste da semana de assinatura vale só para a configuração daquela semana.

O teste, portanto, não pode ser um portão passado uma vez. Os mesmos cem casos devem ser rodados de novo quando o fornecedor trocar de modelo, de instrução ou de fluxo, e o contrato deve obrigá-lo a avisar quando isso ocorrer. A condição é simples de pedir e difícil de cobrar depois, e por isso o conjunto de casos, os critérios e os resultados de cada rodada ficam num arquivo da empresa, e não no painel do fornecedor. Os autores descrevem como trabalho braçal e minucioso o ajuste do produto às políticas, à cultura e aos sistemas de cada cliente, e dizem que as empresas de modelos não o farão; é o que sustenta o valor de quem vende. Para quem compra, esse ajuste é também a descrição mais fiel de como a empresa funciona, e convém ficar com uma cópia.

Convém ainda estar atento ao fosso. Os autores afirmam que “a IA, por si só, não é um fosso: é um modo de entregar valor aos clientes”, e listam as formas que o fosso toma: tornar-se o sistema de registro, prender o usuário ao fluxo de trabalho, integrar-se fundo aos sistemas do cliente, cultivar a relação de confiança. Cada uma dessas coisas, vista do outro lado, é um custo de saída que a empresa ajuda a construir; a pergunta a fazer antes de a integração existir é o que dela passará a pertencer à empresa.

O caderno de estudos

O Metropolitan guarda também um estudo da feira, feito a giz preto e aguada, em que os cavalos aparecem com poucas linhas e nenhum acabamento. Nele se vê o movimento, a matéria que a tela final depois organiza, e nada nele tem o brilho do quadro acabado. A demonstração se parece com a tela: composta para ser vista de longe, com a luz certa, sem poeira. O teste se parece com o estudo, feito com o animal em movimento e repetido até o desenho aprender o que o olho, de relance, não via.

Um último cuidado pede a figura do auditor. Os autores notam que, mesmo onde o agente trabalha sozinho, há ainda uma intensa interação entre humano e IA, pois as pessoas seguem supervisionando e auditando o que ela faz, e citam a Decagon, cujos agentes resolvem chamados sozinhos mas vêm com fluxos para que humanos acompanhem, ajustem e analisem o trabalho. O teste de aceite deve, por isso, incluir a tela de quem confere: se o atendente vê o que o agente disse, se consegue corrigir, se é avisado a tempo, e quantos minutos leva do erro à correção.

Bonheur viu os cavalos por um ano e meio antes de começar a tela. A empresa que vai pagar por um agente tem algo mais modesto a fazer, que é ver trotar, numa semana e com os seus casos, o animal que lhe mostraram na baia.

Quem, na sua empresa, viu o cavalo trotar?

Fonte: Kimberly Tan, Joe Schmidt, Marc Andrusko e Olivia Moore, “From Demos to Deals: Insights for Building in Enterprise AI”, a16z, 24 de junho de 2025.