Mentre i modelli di AI saturano i test standard, i leader del settore sostengono sempre più che i test stessi siano ormai compromessi. Il 18 luglio al WAIC, una serie di dirigenti cinesi dell’AI ha sostenuto la necessità di abbandonare le leaderboard statiche a favore della misurazione della capacità dei modelli di funzionare nel mondo reale.
Il problema dei benchmark
L’obiezione è che benchmark come MMLU, HumanEval e SWE-bench siano diventati saturi e, peggio, contaminati: le loro domande filtrano nei dati di addestramento, così i punteggi elevati misurano tanto la memorizzazione quanto la capacità. Quando ogni modello all’avanguardia si concentra vicino alla vetta, la leaderboard smette di distinguerli.
Nuovi parametri di riferimento
Il fondatore di Baidu, Robin Li, ha proposto un’alternativa radicata nell’uso più che negli esami: gli “agenti attivi giornalieri” come misura del fatto che l’AI stia svolgendo un lavoro reale e continuativo. La responsabile di prodotto Li Jingqiu ha sostenuto che il test migliore è “un compito complesso e dispendioso in termini di tempo” — il tipo di lavoro in più passaggi che una singola domanda di leaderboard non può cogliere.
“Basta usarlo”
Yang Minghui di StepFun l’ha detta nel modo più diretto: “la corsa ai benchmark non è l’intero punto... il vero test è semplicemente usarlo”. Bai Chuanxu di MiniMax ha rilanciato un punto affine, sottolineando la multimodalità nativa — la capacità di gestire testo, immagini e altro in un unico modello — come una capacità che le leaderboard ottimizzate per il ragionamento testuale tendono a sottovalutare.
L’interesse personale e la sostanza
C’è un comodo interesse personale in tutto questo: riformulare la valutazione attorno al “uso reale” lusinga le aziende i cui prodotti vengono distribuiti ma i cui punteggi ai benchmark restano indietro. Eppure la critica di fondo è ampiamente condivisa nel settore. Man mano che i modelli convergono su test saturi, l’industria manca davvero di un modo affidabile per confrontarli — e chiedersi “funziona davvero?” è una domanda più difficile e più onesta di qualsiasi numero singolo.