Benchmark OORT: performance de agentes em produção

A maioria dos benchmarks de IA mede a coisa errada. Compara modelos em datasets curados, com prompts otimizados, em ambientes sem latência e sem falhas. Os resultados são impressionantes — e completamente irrelevantes para quem precisa operar agentes em produção real.

Em produção, os dados chegam sujos. APIs externas falham. A carga varia. Contextos de negócio são ambíguos. A Gartner reporta que a precisão de agentes de IA cai entre 15% e 40% quando movidos de ambientes controlados para operação real. A MLCommons identificou que a latência média em produção é 2.4 vezes maior que em laboratório.

O Benchmark OORT foi criado para medir o que realmente importa: como agentes performam quando enfrentam a realidade operacional de uma empresa. Não em cenários idealizados, mas em workflows reais, com dados reais e sob condições reais de carga.

Benchmarks de IA foram desenhados para comparar modelos, não para validar operações. O MMLU mede conhecimento geral. O HumanEval mede geração de código. O HELM mede um espectro mais amplo. Nenhum deles responde a pergunta que importa para uma empresa: esse agente vai funcionar no meu workflow, com os meus dados, no meu volume?

A distância entre um benchmark acadêmico e operação real é estrutural. Em laboratório, o prompt é perfeito. Em produção, o usuário digita com erros, omite contexto, envia dados em formatos inesperados. Em laboratório, a resposta leva 800ms. Em produção, o agente precisa consultar três APIs externas, processar um documento de 40 páginas e validar contra uma base de regras — e a resposta pode levar 12 segundos.

A Stanford reportou que a performance de LLMs em tarefas de raciocínio complexo pode cair até 39% quando o formato da pergunta muda ligeiramente. Se um modelo é sensível ao formato do prompt, imagine o que acontece quando o input vem de um sistema legado que formata dados de maneira inconsistente.

O Benchmark OORT mede performance em quatro dimensões complementares. Cada dimensão revela um aspecto diferente da saúde operacional de um agente. Otimizar apenas uma — por exemplo, precisão — sem considerar as outras gera agentes lentos, caros ou que acionam humanos a cada decisão.

Latência ponta a ponta — o tempo total desde que o agente recebe uma tarefa até entregar o resultado final. Inclui chamadas a LLMs, consultas a bases de dados, integrações com APIs externas e overhead de orquestração. Não é a latência do modelo. É a latência da operação.

Precisão em tarefas complexas — taxa de acerto avaliada por revisão humana em amostragem estatística de execuções reais. Diferente de benchmarks acadêmicos, a avaliação considera o contexto de negócio: uma resposta tecnicamente correta que não resolve o problema do usuário é contada como erro.

Custo por operação — quanto custa executar cada tarefa, incluindo tokens de LLM, chamadas a APIs, retries após falhas e overhead de infraestrutura. Medir custo por operação (não custo por token) revela ineficiências invisíveis: um agente que acerta em uma tentativa custa metade de um que precisa de três.

Taxa de fallback humano — percentual de tarefas onde o agente não conseguiu completar a operação sozinho e acionou revisão humana. Alta taxa de fallback indica que o agente está operando fora do seu envelope de competência — ou que os thresholds de confiança estão calibrados de forma conservadora demais.

A degradação de performance entre laboratório e produção não é aleatória. Segue padrões previsíveis que o Benchmark OORT identifica e quantifica.

Dados imperfeitos. Em laboratório, os dados de teste são limpos e padronizados. Em produção, 27% das execuções envolvem dados com campos faltando, formatos inconsistentes ou informação ambígua. A IBM estima que problemas de qualidade de dados custam US$ 3.1 trilhões por ano à economia americana. Agentes que não são testados contra dados imperfeitos falham silenciosamente — produzem respostas plausíveis mas incorretas.

Latência composta. Cada chamada a API externa adiciona latência. Um agente que consulta um CRM, verifica uma base de conhecimento e valida contra regras de compliance pode acumular 8-15 segundos de latência — mesmo que cada chamada individual leve menos de 3 segundos. Timeouts e retries multiplicam esse efeito.

Edge cases cumulativos. Qualquer dataset de teste captura apenas uma fração dos cenários reais. Em operações com milhares de execuções diárias, edge cases que representam 0.1% do volume se tornam dezenas de falhas por dia. O Benchmark OORT cataloga esses casos e os incorpora ao ciclo de melhoria.

O Benchmark OORT não é uma avaliação pontual. É um sistema de monitoramento contínuo que alimenta diretamente o ciclo de otimização dos agentes. Cada execução em produção gera dados que refinam a operação seguinte.

O efeito composto é significativo. Na prática, observamos que agentes otimizados com dados do Benchmark OORT melhoram entre 7 e 9 pontos percentuais de precisão nos primeiros 90 dias, enquanto a taxa de fallback humano cai pela metade. Esse padrão é consistente porque as melhorias são direcionadas por dados operacionais reais, não por intuição.

Benchmarks sem metodologia transparente são marketing, não engenharia. O Benchmark OORT publica condições de teste, tamanho de amostra e intervalos de confiança para cada métrica reportada.

As medições são realizadas em execuções reais de produção, não em simulações. Os dados são anonimizados, mas as condições são preservadas: volume de carga, complexidade da tarefa, qualidade do input e estado das integrações externas. Isso garante que os números reflitam a realidade operacional, não um cenário otimista.

A avaliação de precisão combina validação automatizada (regras de negócio verificáveis) com revisão humana por amostragem estatística. A amostra é dimensionada para 95% de confiança com margem de erro de ±3%. Resultados ambíguos são classificados por especialistas de domínio, não por métricas de similaridade textual.

A maioria das empresas escolhe agentes de IA com base em demos impressionantes e benchmarks de laboratório. Depois descobre que a performance em produção não se parece com o que foi apresentado. O gap entre expectativa e realidade é previsível — e evitável.

O Benchmark OORT existe porque acreditamos que a performance de um agente é definida pelo que ele faz em produção, não pelo que ele faz em um slide. Medir com rigor é o primeiro passo para operar com confiança.

Agentes que melhoram continuamente precisam de dados sobre como estão performando continuamente. Sem benchmark de produção, otimização é adivinhação. Com ele, é engenharia.