OORT Benchmark: performance degli agenti in produzione

La maggior parte dei benchmark di IA misura la cosa sbagliata. Confronta modelli su dataset curati, con prompt ottimizzati, in ambienti senza latenza e senza guasti. I risultati sono impressionanti — e completamente irrilevanti per chi deve operare agenti in produzione reale.

In produzione, i dati arrivano sporchi. Le API esterne falliscono. Il carico varia. I contesti di business sono ambigui. Gartner riporta che la precisione degli agenti IA cala tra il 15% e il 40% quando vengono spostati da ambienti controllati all'operazione reale. MLCommons ha rilevato che la latenza media in produzione è 2,4 volte superiore rispetto al laboratorio.

Il Benchmark OORT è stato creato per misurare ciò che conta davvero: come gli agenti si comportano quando affrontano la realtà operativa di un'azienda. Non in scenari idealizzati, ma in workflow reali, con dati reali e sotto condizioni di carico reali.

I benchmark di IA sono stati progettati per confrontare modelli, non per validare operazioni. MMLU misura la conoscenza generale. HumanEval misura la generazione di codice. HELM misura uno spettro più ampio. Nessuno di essi risponde alla domanda che conta per un'azienda: questo agente funzionerà nel mio workflow, con i miei dati, al mio volume?

La distanza tra un benchmark accademico e l'operazione reale è strutturale. In laboratorio il prompt è perfetto. In produzione l'utente digita con errori, omette il contesto, invia dati in formati inattesi. In laboratorio la risposta impiega 800ms. In produzione l'agente deve interrogare tre API esterne, elaborare un documento di 40 pagine e validare rispetto a una base di regole — e la risposta può richiedere 12 secondi.

Stanford ha riportato che la performance dei LLM su compiti di ragionamento complesso può calare fino al 39% quando il formato della domanda cambia leggermente. Se un modello è sensibile al formato del prompt, immaginate cosa succede quando l'input proviene da un sistema legacy che formatta i dati in modo inconsistente.

Il Benchmark OORT misura la performance su quattro dimensioni complementari. Ciascuna dimensione rivela un aspetto diverso della salute operativa di un agente. Ottimizzare solo una — ad esempio la precisione — senza considerare le altre produce agenti lenti, costosi o che escalano a operatori umani a ogni decisione.

Latenza end-to-end — il tempo totale da quando l'agente riceve un compito fino alla consegna del risultato finale. Include chiamate ai LLM, query ai database, integrazioni con API esterne e overhead di orchestrazione. Non è la latenza del modello. È la latenza dell'operazione.

Precisione su compiti complessi — tasso di accuratezza valutato tramite revisione umana su campionamento statistico di esecuzioni reali. A differenza dei benchmark accademici, la valutazione considera il contesto di business: una risposta tecnicamente corretta che non risolve il problema dell'utente viene contata come errore.

Costo per operazione — quanto costa eseguire ogni compito, inclusi token LLM, chiamate API, retry dopo i guasti e overhead infrastrutturale. Misurare il costo per operazione (non il costo per token) rivela inefficienze invisibili: un agente che riesce al primo tentativo costa la metà di uno che ne richiede tre.

Tasso di fallback umano — percentuale di compiti in cui l'agente non è riuscito a completare l'operazione da solo e ha attivato la revisione umana. Un alto tasso di fallback indica che l'agente sta operando al di fuori della propria area di competenza — o che le soglie di confidenza sono calibrate in modo troppo conservativo.

Il degrado di performance tra laboratorio e produzione non è casuale. Segue schemi prevedibili che il Benchmark OORT identifica e quantifica.

Dati imperfetti. In laboratorio i dati di test sono puliti e standardizzati. In produzione il 27% delle esecuzioni coinvolge dati con campi mancanti, formati inconsistenti o informazioni ambigue. IBM stima che i problemi di qualità dei dati costino all'economia americana US$ 3,1 trilioni all'anno. Gli agenti non testati contro dati imperfetti falliscono silenziosamente — producono risposte plausibili ma errate.

Latenza composta. Ogni chiamata API esterna aggiunge latenza. Un agente che interroga un CRM, controlla una base di conoscenza e valida rispetto a regole di compliance può accumulare 8-15 secondi di latenza — anche se ogni singola chiamata impiega meno di 3 secondi. Timeout e retry moltiplicano questo effetto.

Edge case cumulativi. Qualsiasi dataset di test cattura solo una frazione degli scenari reali. In operazioni con migliaia di esecuzioni giornaliere, gli edge case che rappresentano lo 0,1% del volume diventano decine di errori al giorno. Il Benchmark OORT cataloga questi casi e li incorpora nel ciclo di miglioramento.

Il Benchmark OORT non è una valutazione una tantum. È un sistema di monitoraggio continuo che alimenta direttamente il ciclo di ottimizzazione degli agenti. Ogni esecuzione in produzione genera dati che affinano l'operazione successiva.

L'effetto composto è significativo. In pratica, osserviamo che gli agenti ottimizzati con i dati del Benchmark OORT migliorano tra 7 e 9 punti percentuali di precisione nei primi 90 giorni, mentre il tasso di fallback umano si dimezza. Questo schema è consistente perché i miglioramenti sono guidati da dati operativi reali, non dall'intuizione.

I benchmark senza metodologia trasparente sono marketing, non ingegneria. Il Benchmark OORT pubblica le condizioni di test, la dimensione del campione e gli intervalli di confidenza per ogni metrica riportata.

Le misurazioni vengono effettuate su esecuzioni reali di produzione, non su simulazioni. I dati sono anonimizzati, ma le condizioni sono preservate: volume di carico, complessità del compito, qualità dell'input e stato delle integrazioni esterne. Questo garantisce che i numeri riflettano la realtà operativa, non uno scenario ottimistico.

La valutazione della precisione combina la validazione automatizzata (regole di business verificabili) con la revisione umana tramite campionamento statistico. Il campione è dimensionato per il 95% di confidenza con un margine di errore di ±3%. I risultati ambigui vengono classificati da esperti di dominio, non da metriche di similarità testuale.

La maggior parte delle aziende sceglie gli agenti IA sulla base di demo impressionanti e benchmark di laboratorio. Poi scopre che la performance in produzione non assomiglia a ciò che è stato presentato. Il divario tra aspettativa e realtà è prevedibile — ed evitabile.

Il Benchmark OORT esiste perché crediamo che la performance di un agente sia definita da ciò che fa in produzione, non da ciò che fa in una slide. Misurare con rigore è il primo passo per operare con fiducia.

Gli agenti che migliorano continuamente hanno bisogno di dati su come stanno performando in modo continuativo. Senza un benchmark di produzione, l'ottimizzazione è un'ipotesi. Con esso, è ingegneria.