À mesure que les modèles d’IA saturent les tests standards, les dirigeants du secteur soutiennent de plus en plus que ces tests eux-mêmes sont défaillants. Le 18 juillet au WAIC, plusieurs dirigeants chinois de l’IA ont plaidé pour l’abandon des classements statiques au profit d’une mesure de la question de savoir si les modèles fonctionnent réellement dans le monde réel.
Le problème des benchmarks
La critique est que des benchmarks comme MMLU, HumanEval et SWE-bench sont devenus saturés et, pire encore, contaminés — leurs questions fuitent dans les données d’entraînement, si bien que les scores élevés mesurent autant la mémorisation que les capacités. Lorsque tous les modèles de pointe se retrouvent regroupés en haut du classement, le tableau comparatif cesse de les distinguer.
Nouveaux critères
Le fondateur de Baidu, Robin Li, a proposé une alternative fondée sur l’usage plutôt que sur les examens : les « agents actifs quotidiens », comme mesure du fait que l’IA accomplit un travail réel et durable. La responsable produit Li Jingqiu a estimé que le meilleur test est « une tâche complexe et chronophage » — le type de mission en plusieurs étapes qu’une seule question de benchmark ne peut pas capturer.
« Il suffit de l’utiliser »
Yang Minghui, de StepFun, l’a formulé plus directement : « la course au benchmark n’est pas l’essentiel... le vrai test, c’est simplement de l’utiliser. » Bai Chuanxu, de MiniMax, a défendu un point connexe, en insistant sur la multimodalité native — la capacité à traiter du texte, des images et davantage au sein d’un même modèle — comme une compétence que les classements optimisés pour le raisonnement textuel ont tendance à sous-valoriser.
L’intérêt personnel et le fond
Il y a là un intérêt personnel commode : recentrer l’évaluation sur « l’usage réel » flatte des entreprises dont les produits sont déployés mais dont les scores aux benchmarks sont inférieurs. Pourtant, la critique de fond est largement partagée dans le secteur. À mesure que les modèles convergent sur des tests saturés, l’industrie manque réellement d’un moyen fiable de les comparer — et se demander « est-ce que cela fonctionne vraiment » est une question plus difficile, et plus honnête, qu’un simple chiffre.